内存吞金兽(Elasticsearch)的那些事儿 -- 架构&三高保证

2021-08-31 17:57:14 浏览数 (1)

系列目录

内存吞金兽(Elasticsearch)的那些事儿 -- 认识一下

内存吞金兽(Elasticsearch)的那些事儿 -- 数据结构及巧妙算法

内存吞金兽(Elasticsearch)的那些事儿 -- 架构&三高保证

内存吞金兽(Elasticsearch)的那些事儿 -- 写入&检索原理

内存吞金兽(Elasticsearch)的那些事儿 -- 常见问题痛点及解决方案

架构图

Gateway

代表ElasticSearch索引的持久化存储方式。

在Gateway中，ElasticSearch默认先把索引存储在内存中，然后当内存满的时候，再持久化到Gateway里。当ES集群关闭或重启的时候，它就会从Gateway里去读取索引数据。比如LocalFileSystem和HDFS、AS3等。

DistributedLucene Directory

是Lucene里的一些列索引文件组成的目录。它负责管理这些索引文件。包括数据的读取、写入，以及索引的添加和合并等。

River

代表是数据源。是以插件的形式存在于ElasticSearch中。　

Mapping

映射的意思，非常类似于静态语言中的数据类型。比如我们声明一个int类型的变量，那以后这个变量只能存储int类型的数据。

eg：比如我们声明一个double类型的mapping字段，则只能存储double类型的数据。

Mapping不仅是告诉ElasticSearch，哪个字段是哪种类型。还能告诉ElasticSearch如何来索引数据，以及数据是否被索引到等。

Search Moudle

搜索模块

Index Moudle

索引模块

Disvcovery

代码语言：txt复制
 主要是负责集群的master节点发现。比如某个节点突然离开或进来的情况，进行一个分片重新分片等。

　 （Zen）发现机制默认的实现方式是单播和多播的形式，同时也支持点对点的实现。以插件的形式存在EC2。

一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。

Scripting

脚本语言。包括很多。如mvel、js、python等。　　　

定制化功能非常便捷，但有性能问题

Transport

代码语言：txt复制
代表ElasticSearch内部节点，代表跟集群的客户端交互。包括 Thrift、Memcached、Http等协议

RESTful Style API

通过RESTful方式来实现API编程。

3rd plugins

第三方插件，（想象一下idea或vscode的插件

Java(Netty)

开发框架。其内部使用netty实现

JMX

监控

部署节点

  • master
  • index node（也是coordinating node
  • coordinating node

三高保证

  1. 一个es集群会有多个es节点
  2. 在众多的节点中，其中会有一个Master Node，主要负责维护索引元数据、负责切换主分片和副本分片身份等工作，如果主节点挂了，会选举出一个新的主节点
代码语言：txt复制
1. 如果某个节点挂了，`Master Node`就会把对应的副本分片提拔为主分片，这样即便节点挂了，数据就不会丢。es最外层的是Index（相当于数据库 表的概念）；一个Index的数据我们可以分发到不同的Node上进行存储，这个操作就叫做
代码语言：txt复制
1. 比如现在我集群里边有4个节点，我现在有一个Index，想将这个Index在4个节点上存储，那我们可以设置为4个分片。这4个分片的数据**合起来**就是Index的数据
2. 分片会有主分片和副本分片之分（防止某个节点宕机，保证高可用）
3.  Index需要分为多少个分片和副本分片都是可以通过配置设置的
为什么需要分片？
代码语言：txt复制
- 如果一个Index的数据量太大，只有一个分片，那只会在一个节点上存储，随着数据量的增长，一个节点未必能把一个Index存储下来。
- 多个分片，在写入或查询的时候就可以并行操作（从各个节点中读写数据，提高吞吐量）

分词器：

在分词前我们要先明确字段是否需要分词，不需要分词的字段将type设置为keyword，可以节省空间和提高写性能。

1）es的内置分词器

常用的三种分词：Standard Analyzer、Simple Analyzer、whitespace Analyzer

standard 是默认的分析器，英文会按照空格切分，同时大写转小写，中文会按照每个词切分

simple 先按照空格分词，英文大写转小写，不是英文不再分词

Whitespace Analyzer 先按照空格分词，不是英文不再分词，英文不再转小写

2）第三方分词器

es内置很多分词器，但是对中文分词并不友好，例如使用standard分词器对一句中文话进行分词，会分成一个字一个字的。这时可以使用第三方的Analyzer插件，分别是HanLP，IK，Pinyin分词器三种；

  • HanLP-面向生产环境的自然语言处理工具包，支持有多重分词配置
代码语言：txt复制
   两个官网分词例子测试效果，分词效果较内置的分词有很大明显，可以支持中文的词语分词；
  • IK分词器：
代码语言：txt复制
     可以根据粒度拆分
代码语言：txt复制
`ik_smart`: 会做最粗粒度的拆分
代码语言：txt复制
`ik_max_word`: 会将文本做最细粒度的拆分
代码语言：txt复制
   如果是最细粒度，我是中国人，会被分词为我，是，中国人，中国，国人，相对于Hanlp的分词更加准确和多样；
  • PinYin
代码语言：txt复制
   会对特定的信息进行分词，对用户搜索有更好的体验，该分词会对汉字的首字母进行分词，例如刘德华，会被分词为ldh，张学友，会被分词为zxy，用户根据拼音首字母就可以搜索出对应的特定信息。
analyzer es ElasticsearchService api 存储

0 人点赞