标签：ELK filebeat tar 7.1 ES 过程 logstash es 搭建
一、下载最新版本的ES、Logstash和Filebeat包
地址：https://www.elastic.co/cn/downloads/
Linux系统版本为CentOS release 6.5
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz
二、安装ES
tar -zxvf elasticsearch-7.1.1-linux-x86_64.tar.gz
修改配置文件elasticsearch.yml
#配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
cluster.name: openapi
#节点名称
node.name: test
#设置索引数据的存储路径
path.data: /opt/supp_app/es/data
#设置日志的存储路径
path.logs: /opt/supp_app/es/logs
#设置当前的ip地址,通过指定相同网段的其他节点会加入该集群中
network.host: 0.0.0.0 如果要开启远程访问需要设置为0.0.0.0，意思是允许任意IP连接
#设置对外服务的http端口
http.port: 9200
#设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点
discovery.zen.ping.unicast.hosts: ["127.0.0.1","10.10.10.34:9200"]
设置节点个数
discovery.zen.ping.unicast.hosts: [ "172.17.33.142" ]
discovery.zen.minimum_master_nodes: 1
创建数据和日志路径
启动es(命令：bin/elasticsearch JDK兼容问题 需要安装JDK1.8)
修改bin/elasticsearch文件
export JAVA_HOME=/opt/web_app/jdk1.8.0_74/
export PATH=$JAVA_HOME/bin:$PATH
启动前需要修改配置文件(需要权限)
1、设置内核参数
vim /etc/sysctl.conf
添加如下内容:
fs.file-max=65536
vm.max_map_count=262144
之后可以使用sysctl –a查看 –p刷新
2、设置资源参数
vim /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
3、修改进程数
vim /etc/security/limits.d/20-nproc.conf
修改( * soft nproc )的值为2048
启动ES
bin/elasticsearch -d(加-d 后台启动 ctrl+C不会关闭es)
es启动监听两个端口，9300和9200
9300端口是使用tcp客户端连接使用的端口；
9200端口是通过http协议连接es使用的端口；
三、安装Logstash
tar -zxvf logstash-7.1.1.tar.gz
新增配置文件logstash.conf
配置文件中指定ES的部署位置和记录数据的格式
修改bin/logstash文件
export JAVA_CMD="/opt/web_app/jdk1.8.0_74/bin"
export JAVA_HOME="/opt/web_app/jdk1.8.0_74/"
进入到logstash根目录，启动Logstash
nohup bin/logstash -f config/logstash.conf &
四、安装FileBeat
tar -zxvf filebeat-7.1.1-linux-x86_64.tar.gz
mv filebeat-7.1.1-linux-x86_64 filebeat-7.1.1
修改配置文件filebeat.yml
两个配置项：paths和hosts
paths为收集日志的详细路径
hosts为Logstash的IP+端口
启动filebeat
nohup ./filebeat -e -c filebeat.yml &
五、安装ES-head
安装nodeJS
npm
grunt
vi Gruntfile.js 修改IP和端口
vim _site/app.js 修改IP
安装grunt-contrib-jasmine
npm install grunt-contrib-jasmine --registry=https://registry.npm.taobao.org
grunt server &
遇到的问题：（自行百度即可）
ES与JDK版本不兼容问题
ES启动失败：权限（新加用户，并赋权限，用新加用户启动ES）；节点配置（单个/集群）；内存设置过小；线程数设置过少（修改配置文件）
Logstash与JDK版本不兼容问题
ES-head安装（grunt失败）
支撑ES查询与JDK，tomcat版本不兼容问题
标签：ELK,filebeat,tar,7.1,ES,过程,logstash,es,搭建 来源： https://blog.csdn.net/liwu_xa/article/details/100061359
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。