当前位置:首页 > ELKstack > 正文内容

ELKstack介绍及Elasticsearch部署

5年前 (2019-08-29)ELKstack633

1.日志分析系统

1.1运维痛点


1.1.1:运维要不停的查看各种日志。

1.1.2:故障已经发生了才看日志(时间问题。)

1.1.3:节点多,日志分散,收集日志成了问题。

1.1.4:运行日志,错误等日志等,没有规范目录,收集困难。


1.2环境痛点


1.2.1:开发人员不能登陆线上服务器查看详细日志。

1.2.2:各个系统都有日志,日志数据分散难以查找。

1.2.3:日志数据量大,查询速度慢,数据不够实时。


1.3解决痛点


收集(Logstash)

1.3.1:存储(Elasticsearch、Redis、Kafka)

1.3.2:搜索+统计+展示(Kibana)

1.3.4:报警,数据分析(Zabbix)


ELKstack简介


ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体,这三个软件当中,logstash(收集)、elasticsearch(存储+搜索)、kibana(展示),我们将这三个组合起来的技术称之为ELKStack,官方域名为elastic.co,ELK stack的主要优点有如下几个:


1.处理方式灵活: elasticsearch是实时全文索引,具有强大的搜索功能

2.配置相对简单:elasticsearch全部使用JSON 接口,logstash使用模块配置,kibana的配置文件部分更简单。

3.检索性能高效:基于优秀的设计,虽然每次查询都是实时,但是也可以达到百亿级数据的查询秒级响应。

4.集群线性扩展:elasticsearch和logstash都可以灵活线性扩展

5.前端操作绚丽:kibana的前端设计比较绚丽,而且操作简单

image.png

ELKstack环境部署及配置

环境准备

公网IP内网IP主机名部署服务用途
10.0.0.51172.16.1.51elkstack01elasticsearch、JDK存储日志的数据库
10.0.0.52172.16.1.51elkstack02elasticsearch、JDK存储日志的数据库
10.0.0.53172.16.1.51elkstack03Logstash、JDK收集日志、过滤日志
10.0.0.54172.16.1.51elkstack04Redis、Kibana消息队列、日志展示
10.0.0.55172.16.1.51nginx01nginx、filebeat修改nginx日志格式为json收集
10.0.0.56172.16.1.51tomcat01tomcat、JDK、filebeat修改tomcat日志格式为json收集

Elasticsearch环境准备


关闭防火墙

#CentOS6 关闭防火墙
[root@elkstack01 ~]# /etc/init.d/iptables stop
#CentOS7 关闭防火墙
[root@elkstack01 ~]# systemctl stop firewalld

关闭SELINUX

#临时关闭
[root@elkstack01 ~]# setenforce 0
setenforce: SELinux is disabled
#永久关闭
[root@elkstack01 ~]# vim /etc/sysconfig/selinux
SELINUX=disabled    ==>  //原来是enforcing 改成disabled
SELINUXTYPE=targeted

设置epel源

#CentOS6 下载epel源
[root@elkstack01 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
#CentOS7 下载epel源
[root@elkstack01 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

修改时区

#将时区修改为上海时区
[root@elkstack01 ~]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp:是否覆盖"/etc/localtime"? y

设置时间同步

#同步服务器时间(切记保证集群之间时间一致非常重要)
[root@elkstack01 ~]# ntpdate time1.aliyun.com
28 Feb 14:11:28 ntpdate[8904]: step time server 203.107.6.88 offset 3168820.831817 sec

部署Elasticsearch

在elkstack01 和 elkstack02两台机器分别安装elasticsearch,因为elasticsearch服务运行需要JAVA环境,所以两台服务器都需要安装JAVA环境。


安装JDK环境

下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

#解压JDK安装包
[root@elkstack01 ~]# tar xf jdk-8u121-linux-x64.tar.gz
#将JDK安装包移动到安装目录下
[root@elkstack01 ~]# mv jdk1.8.0_121 /usr/local/
#做软链接(方便日后升级)
[root@elkstack01 ~]# ln -s /usr/local/jdk1.8.0_121 /usr/local/jdk1.8
#添加环境变量
[root@elkstack01 ~]# vim /etc/profile.d/jdk1.8.sh
export JAVA_HOME=/usr/local/jdk1.8
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
#加载环境变量
[root@elkstack01 ~]# source /etc/profile
#检查是否加载成功
[root@elkstack01 ~]# java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

安装elasticsearch

下载地址: https://www.elastic.co/downloads/elasticsearch

#安装elasticsearch使用yum localinstall 自动安装依赖包
[root@elkstack01 ~]# yum localinstall -y elasticsearch-5.3.0.rpm

修改配置文件

如果系统是CentOS6则做以下修改

#查看配置文件修改部分内容
[root@elkstack01 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
#设置集群名称(想要其他节点加入同一个集群必须集群名称相同)
cluster.name: elk-cluster
#节点名称(通过此配置项来区分集群中的所有节点)
node.name: elk01
#elasticsearch数据存放目录
path.data: /data/elk/data
#elasticsearch日志存放目录
path.logs: /data/elk/logs
#CentOS6不支持内存锁功能,所以要关闭内存锁
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
#elasticsearch监听地址
network.host: 0.0.0.0
#elasticsearch服务端口
http.port: 9200
#配置所有集群节点IP
discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"]

如果系统是CentOS7则做以下修改

#查看配置文件修改部分内容(CentOS7中配置)
[root@elkstack01 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
#设置集群名称(想要其他节点加入同一个集群必须集群名称相同)
cluster.name: elk-cluster
#节点名称(通过此配置项来区分集群中的所有节点)
node.name: elk01
#elasticsearch数据存放目录
path.data: /data/elk/data
#elasticsearch日志存放目录
path.logs: /data/elk/logs
#内存锁设置(在CentOS7中支持内存锁并且要修改启动脚本)
bootstrap.memory_lock: true
#elasticsearch监听地址
network.host: 0.0.0.0
#elasticsearch服务端口
http.port: 9200
#配置所有集群节点IP
discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"]
#修改启动脚本
[root@elkstack01 ~]# vim /usr/lib/systemd/system/elasticsearch.service
#修改内存限制(去掉此行注释)
LimitMEMLOCK=infinity
#重新加载启动脚本
[root@elkstack01 ~]# systemctl reload-daemon

创建目录并授权

#创建数据目录
[root@elkstack01 ~]# mkdir -p /data/elk/data
#创建日志目录
[root@elkstack01 ~]# mkdir -p /data/elk/logs
#授权
[root@elkstack01 ~]# chown -R elasticsearch.elasticsearch /data/elk/

优化文件描述符

#编辑limit文件
[root@elkstack01 ~]# vim /etc/security/limits.conf
* soft memlock unlimited
* hard memlock unlimited
* soft nofile 131072
* hard nofile 131072
#编辑子配置文件(CentOS6)
[root@elkstack01 ~]# vim /etc/security/limits.d/90-nproc.conf
*          soft    nproc     2048
root       soft    nproc     unlimited

设置JVM最大最小内存限制

#编辑配置文件
[root@elkstack01 ~]# vim /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g

启停elasticsearch

#CentOS6 启动、停止elasticsearch
[root@elkstack01 ~]# /etc/init.d/elasticsearch start
[root@elkstack01 ~]# /etc/init.d/elasticsearch stop
#CentOS7 启动、停止elasticsearch
[root@elkstack01 ~]# systemctl start elasticsearch
[root@elkstack01 ~]# systemctl stop elasticsearch
#查看启动进程
[root@elkstack01 ~]# ps -ef|grep java
#查看端口
[root@elkstack01 ~]# netstat -lntup
tcp     0   0 :::9200   :::*    LISTEN    10872/java
tcp     0   0 :::9300   :::*    LISTEN    10872/java

验证启动elasticsearch后的页面


打开浏览器访问地址:http://10.0.0.51:9200/

image.png

{
  #此节点名称
  "name" : "elk01", 
  #此集群名称
  "cluster_name" : "elk-cluster",
  #集群的uuid
  "cluster_uuid" : "XFsbUh_AT2y5jyZLGOAZ3w",
  "version" : {
  #elasticsearch版本
    "number" : "5.3.0", 
    "build_hash" : "3adb13b",
    "build_date" : "2017-03-23T03:31:50.652Z",
  #创建快照
    "build_snapshot" : false,
  #Lucene语法版本(基于Lucene做日志搜索)
    "lucene_version" : "6.4.1"
  },
  #口号
  "tagline" : "You Know, for Search"
}

其他节点安装并加入集群

安装其他节点,步骤和上面一样,修改配置文件时,直接将elk01节点的配置文件scp过去,然后在配置文件中讲节点名称修改后启动即可

#发送配置文件到其他节点
[root@elkstack01 ~]# scp /etc/elasticsearch/elasticsearch.yml  172.16.1.52:/etc/elasticsearch/
#修改其他节点配置文件
[root@elkstack02 ~]# vim /etc/elasticsearch/elasticsearch.yml
#此行节点名称唯一即可
node.name: elk02

安装elasticsearch插件

安装Elasticsearch的head插件时,要安装npm,npm的全称是Node Package Manager,是随同NodeJS一起安装的包管理和分发工具,它很方便让JavaScript开发者下载、安装、上传以及管理已经安装的包。

在Elasticsearch 5.x版本以后不再支持直接安装head插件,而是需要通过启动一个服务方式。

Github地址:https://github.com/mobz/elasticsearch-head

#安装npm(只需要在一个节点安装即可,如果前端还有nginx做反向代理可以每个节点都装)
[root@elkstack01 ~]# yum install -y npm
#进入下载head插件代码目录
[root@elkstack01 src]# cd /usr/local/
#从GitHub上克隆代码到本地
[root@elkstack01 local]# git clone git://github.com/mobz/elasticsearch-head.git
#克隆完成后,进入elasticsearch插件目录
[root@elkstack01 local]# cd elasticsearch-head/
#清除缓存
[root@elkstack01 elasticsearch-head]# npm cache clean -f
#使用npm安装n模块(不同的项目js脚本所需的node版本可能不同,所以就需要node版本管理工具)
[root@elkstack01 elasticsearch-head]# npm install -g n
#安装最新版本n模块
[root@elkstack01 elasticsearch-head]# n stable
#生成grunt
[root@elkstack01 elasticsearch-head]# npm install grunt -save
#确认生成grunt文件
[root@elkstack01 elasticsearch-head]# ll node_modules/grunt
#执行安装grunt
[root@elkstack01 elasticsearch-head]# npm install
#后台启动head插件(切记,必须在插件目录下执行启动命令)
[root@elkstack01 elasticsearch-head]# npm run start &
#验证端口是否启动成功
[root@elkstack01 elasticsearch-head]# netstat -lntup
tcp  0  0   0.0.0.0:9100   0.0.0.0:*   LISTEN    11293/grunt
#启动成功后,修改elasticsearch配置文件
[root@elkstack01 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
#添加如下两行,开启跨域访问支持(添加在配置文件最后即可)
http.cors.enabled: true
http.cors.allow-origin: "*"
#重启elasticsearch
[root@elkstack01 elasticsearch-head]# /etc/init.d/elasticsearch restart

如果启动成功了,则打开浏览器,访问:http://10.0.0.51:9100/

image.png

安装成功界面如下:

image.png安装n模块遇到报错SSL认证问题,解决方案如下

image.png


返回列表

没有更早的文章了...

下一篇:Elasticsearch内部分片及分片处理机制