ELK 基础
简介
ELK是一个应用套件，由Elasticsearch，Logstash和Kibana组成
ElasticSearch
ElasticSearch是一个实时的分布式搜索和分析引擎，用于支持全文搜索，结构化搜索以及分析，采用java语言编写
- ElasticSearch主要特点如下
- 实时搜索，实时分析
- 分布式架构，实时文件存储，将每一个字段都编入索引
- 高可用性，易拓展，支持集群，分片和复制
- 接口友好，支持json
架构如下：
由master和slave组成
Logstash
Logstash是一个轻量级的开源日志收集处理框架，可以方便的把分散的，多样化的日志搜集起来，并进行自定义过滤分析和处理，然后传输到指定的位置。
- Logstash特点如下
- 几乎可以访问任何数据
- 可以和多种外部应用整合
- 支持动态弹性扩展
- Logstash功能：
- input：数据收集
- filter： 数据加工（例如：过滤，改写）
- output：数据输出
内部逻辑如下：
- 每个部分的含义如下：
- Shiper： 主要收集日志数据，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，然后经过加工，过滤，输出到Broker
- Broker：相当于日志的HUB，用来连接多个Shipper和多个Indexer（redis可以作为日志缓冲的broker）
- Indexer：从Broker读取文本，经过加工，过滤输出到指定的介质（可以是文件，网络，ES）
kibana kibana是一个开源的数据分析可视化平台，使用kibana对Logstash和Elasticsearch提供的日志数据进项高效的搜索，可视化汇总以及多维度分析 ELK工作流程
ELK常见架构
最简单的ELK架构
典型ELK架构
