第一章·ELKstack介绍及Elasticsearch部署

2022-09-26 11:12:01 浏览数 (1)

曾志高翔, 江湖人称曾老大。多年互联网运维工作经验，曾负责过大规模集群架构自动化运维管理工作。擅长Web集群架构与自动化运维，曾负责国内某大型金融公司运维工作。 个人博客:"DBA老司机带你删库跑路"

ELKstack课程大纲



ELKstack简介

什么是ELK？

通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为elastic.co，ELK stack的主要优点有如下几个：

  • 1.处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能
  • 2.配置相对简单：elasticsearch全部使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。
  • 3.检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。
  • 4.集群线性扩展：elasticsearch和logstash都可以灵活线性扩展
  • 5.前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单

什么是Elasticsearch？

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能。



什么是Logstash？

可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。



什么是Kibana？

主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。



ELKstack部署及配置

环境准备

公网IP

内网IP

主机名

部署服务

用途

10.0.0.51

172.16.1.51

elkstack01

elasticsearch、JDK

存储日志的数据库

10.0.0.52

172.16.1.52

elkstack02

elasticsearch、JDK

存储日志的数据库

10.0.0.53

172.16.1.53

elkstack03

Logstash、JDK

收集日志、过滤日志

10.0.0.54

172.16.1.54

elkstack04

Redis、Kibana

消息队列、日志展示

10.0.0.55

172.16.1.55

nginx01

nginx、filebeat

修改nginx日志格式为json收集

10.0.0.56

172.16.1.56

tomcat01

tomcat、JDK、filebeat

修改tomcat日志格式为json收集

安装包准备

安装包名

用途

elasticsearch-5.3.0.rpm

存储日志的数据库

elasticsearch-head.tar.gz

elasticsearch的web界面插件

logstash-5.3.0.rpm

日志收集、日志分析工具

kibana-5.3.0-x86_64.rpm

日志展示、日志查询工具

filebeat-5.3.2-x86_64.rpm

日志收集工具（比Logstash轻量）

jdk-8u121-linux-x64.tar.gz

JAVA容器（es、Logstash、tomcat需要）

nginx-1.10.3.tar.gz

测试收集nginx日志

apache-tomcat-8.0.38.tar.gz

测试收集tomcat日志

redis-3.2.8.tar.gz

消息队列工具

Elasticsearch环境准备

关闭防火墙

代码语言：javascript复制
#CentOS6 关闭防火墙
[root@elkstack01 ~]# /etc/init.d/iptables stop
#CentOS7 关闭防火墙
[root@elkstack01 ~]# systemctl stop firewalld

关闭SELINUX

代码语言：javascript复制
#临时关闭
[root@elkstack01 ~]# setenforce 0
setenforce: SELinux is disabled
#永久关闭
[root@elkstack01 ~]# vim /etc/sysconfig/selinux
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled    ==>      //原来是enforcing 改成disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

设置epel源

代码语言：javascript复制
#CentOS6 下载epel源
[root@elkstack01 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
#CentOS7 下载epel源
[root@elkstack01 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

修改时区

代码语言：javascript复制
#将时区修改为上海时区
[root@elkstack01 ~]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp：是否覆盖"/etc/localtime"？ y

设置时间同步

代码语言：javascript复制
#同步服务器时间（切记保证集群之间时间一致非常重要）
[root@elkstack01 ~]# ntpdate time1.aliyun.com
28 Feb 14:11:28 ntpdate[8904]: step time server 203.107.6.88 offset 3168820.831817 sec

部署Elasticsearch

在elkstack01 和 elkstack02两台机器分别安装elasticsearch，因为elasticsearch服务运行需要JAVA环境，所以两台服务器都需要安装JAVA环境。

安装JDK环境

下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

代码语言：javascript复制
#解压JDK安装包
[root@elkstack01 ~]# tar xf jdk-8u121-linux-x64.tar.gz
#将JDK安装包移动到安装目录下
[root@elkstack01 ~]# mv jdk1.8.0_121 /usr/local/
#做软链接(方便日后升级)
[root@elkstack01 ~]# ln -s /usr/local/jdk1.8.0_121 /usr/local/jdk1.8
#添加环境变量
[root@elkstack01 ~]# vim /etc/profile.d/jdk1.8.sh
export JAVA_HOME=/usr/local/jdk1.8
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
#加载环境变量
[root@elkstack01 ~]# source /etc/profile
#检查是否加载成功
[root@elkstack01 ~]# java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

安装elasticsearch

下载地址: https://www.elastic.co/downloads/elasticsearch

代码语言：javascript复制
#安装elasticsearch使用yum localinstall 自动安装依赖包
[root@elkstack01 ~]# yum localinstall -y elasticsearch-5.3.0.rpm

修改配置文件

如果系统是CentOS6则做以下修改

代码语言：javascript复制
#查看配置文件修改部分内容
[root@elkstack01 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
#设置集群名称（想要其他节点加入同一个集群必须集群名称相同）
cluster.name: elk-cluster
#节点名称（通过此配置项来区分集群中的所有节点）
node.name: elk01
#elasticsearch数据存放目录
path.data: /data/elk/data
#elasticsearch日志存放目录
path.logs: /data/elk/logs
#CentOS6不支持内存锁功能，所以要关闭内存锁
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
#elasticsearch监听地址
network.host: 0.0.0.0
#elasticsearch服务端口
http.port: 9200
#配置所有集群节点IP
discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"]

如果系统是CentOS7则做以下修改

代码语言：javascript复制
#查看配置文件修改部分内容(CentOS7中配置)
[root@elkstack01 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
#设置集群名称（想要其他节点加入同一个集群必须集群名称相同）
cluster.name: elk-cluster
#节点名称（通过此配置项来区分集群中的所有节点）
node.name: elk01
#elasticsearch数据存放目录
path.data: /data/elk/data
#elasticsearch日志存放目录
path.logs: /data/elk/logs
#内存锁设置（在CentOS7中支持内存锁并且要修改启动脚本）
bootstrap.memory_lock: true
#elasticsearch监听地址
network.host: 0.0.0.0
#elasticsearch服务端口
http.port: 9200
#配置所有集群节点IP
discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"]

#修改启动脚本
[root@elkstack01 ~]# vim /usr/lib/systemd/system/elasticsearch.service
#修改内存限制（去掉此行注释）
LimitMEMLOCK=infinity
#重新加载启动脚本
[root@elkstack01 ~]# systemctl reload-daemon

创建目录并授权

代码语言：javascript复制
#创建数据目录
[root@elkstack01 ~]# mkdir -p /data/elk/data
#创建日志目录
[root@elkstack01 ~]# mkdir -p /data/elk/logs
#授权
[root@elkstack01 ~]# chown -R elasticsearch.elasticsearch /data/elk/

优化文件描述符

代码语言：javascript复制
#编辑limit文件
[root@elkstack01 ~]# vim /etc/security/limits.conf
* soft memlock unlimited
* hard memlock unlimited
* soft nofile 131072
* hard nofile 131072

#编辑子配置文件（CentOS6）
[root@elkstack01 ~]# vim /etc/security/limits.d/90-nproc.conf
*          soft    nproc     2048
root       soft    nproc     unlimited

设置JVM最大最小内存限制

代码语言：javascript复制
#编辑配置文件
[root@elkstack01 ~]# vim /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g

启停elasticsearch

代码语言：javascript复制
#CentOS6 启动、停止elasticsearch
[root@elkstack01 ~]# /etc/init.d/elasticsearch start
[root@elkstack01 ~]# /etc/init.d/elasticsearch stop
#CentOS7 启动、停止elasticsearch
[root@elkstack01 ~]# systemctl start elasticsearch
[root@elkstack01 ~]# systemctl stop elasticsearch
#查看启动进程
[root@elkstack01 ~]# ps -ef|grep java
#查看端口
[root@elkstack01 ~]# netstat -lntup
tcp        0      0 :::9200                     :::*                        LISTEN      10872/java
tcp        0      0 :::9300                     :::*                        LISTEN      10872/java

验证启动elasticsearch后的页面

打开浏览器访问地址：http://10.0.0.51:9200/



代码语言：javascript复制
{
  #此节点名称
  "name" : "elk01", 
  #此集群名称
  "cluster_name" : "elk-cluster",
  #集群的uuid
  "cluster_uuid" : "XFsbUh_AT2y5jyZLGOAZ3w",
  "version" : {
  #elasticsearch版本
    "number" : "5.3.0", 
    "build_hash" : "3adb13b",
    "build_date" : "2017-03-23T03:31:50.652Z",
  #创建快照
    "build_snapshot" : false,
  #Lucene语法版本（基于Lucene做日志搜索）
    "lucene_version" : "6.4.1"
  },
  #口号
  "tagline" : "You Know, for Search"
}

其他节点安装并加入集群

安装其他节点，步骤和上面一样，修改配置文件时，直接将elk01节点的配置文件scp（拷贝）过去，然后在配置文件中讲节点名称修改后启动即可。

代码语言：javascript复制
#发送配置文件到其他节点
[root@elkstack01 ~]# scp /etc/elasticsearch/elasticsearch.yml  172.16.1.52:/etc/elasticsearch/
#修改其他节点配置文件
[root@elkstack02 ~]# vim /etc/elasticsearch/elasticsearch.yml
#此行节点名称唯一即可
node.name: elk02

操作完成后，同样启动elasticsearch并且访问9200端口，检查是否安装成功。

访问地址：http://10.0.0.52:9200/



如上图所示：可以看到节点名称是不一样的。

安装elasticsearch插件

插件是为了完成不同的功能，官方提供了一些插件但大部分是收费的，另外也有一些开发爱好者提供的插件，可以实现对elasticsearch集群的状态监控与管理配置等功能，我们现在要安装的是Elasticsearch的head插件，此插件提供elasticsearch的web界面功能。

安装Elasticsearch的head插件时，要安装npm，npm的全称是Node Package Manager，是随同NodeJS一起安装的包管理和分发工具，它很方便让JavaScript开发者下载、安装、上传以及管理已经安装的包。

在Elasticsearch 5.x版本以后不再支持直接安装head插件，而是需要通过启动一个服务方式。 Github地址：https://github.com/mobz/elasticsearch-head

代码语言：javascript复制
#安装npm（只需要在一个节点安装即可，如果前端还有nginx做反向代理可以每个节点都装）
[root@elkstack01 ~]# yum install -y npm
#进入下载head插件代码目录
[root@elkstack01 src]# cd /usr/local/
#从GitHub上克隆代码到本地
[root@elkstack01 local]# git clone git://github.com/mobz/elasticsearch-head.git
#克隆完成后，进入elasticsearch插件目录
[root@elkstack01 local]# cd elasticsearch-head/
#清除缓存
[root@elkstack01 elasticsearch-head]# npm cache clean -f
#使用npm安装n模块（不同的项目js脚本所需的node版本可能不同，所以就需要node版本管理工具）
[root@elkstack01 elasticsearch-head]# npm install -g n
#安装最新版本n模块
[root@elkstack01 elasticsearch-head]# n stable
#生成grunt
[root@elkstack01 elasticsearch-head]# npm install grunt -save
#确认生成grunt文件
[root@elkstack01 elasticsearch-head]# ll node_modules/grunt
#执行安装grunt
[root@elkstack01 elasticsearch-head]# npm install
#后台启动head插件（切记，必须在插件目录下执行启动命令）
[root@elkstack01 elasticsearch-head]# npm run start &
#验证端口是否启动成功
[root@elkstack01 elasticsearch-head]# netstat -lntup
tcp        0      0 0.0.0.0:9100                0.0.0.0:*                   LISTEN      11293/grunt
#启动成功后，修改elasticsearch配置文件
[root@elkstack01 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
#添加如下两行，开启跨域访问支持（添加在配置文件最后即可）
http.cors.enabled: true
http.cors.allow-origin: "*"
#重启elasticsearch
[root@elkstack01 elasticsearch-head]# /etc/init.d/elasticsearch restart

如果启动成功了，则打开浏览器，访问：http://10.0.0.51:9100/

 安装成功界面如下：



安装n模块遇到报错SSL认证问题，解决方案如下。



代码语言：javascript复制
#取消npm的ssl验证
[root@elkstack01 elasticsearch-head]# npm config set strict-ssl false
编程算法 ElasticsearchService tomcat jdk http

0 人点赞