ElasticSearch(ES)简介及使用指引

2019-12-12 11:28:03 浏览数 (1)

ES 简介

Elasticsearch 是一个分布式、Restful 风格的搜索数据分析引擎,能够解决常规和各种类型数据的存储及检索需求。作为ELK和ElasticStack的核心,它能够集中存储数据,通过Elasticsearch 能够执行及合并多种类型的搜索(结构化数据、非结构化数据、地理位置、经纬度坐标等数据结构)。

ES 的特点和优势

  • 分布式实时文件存储,可将每一个字段存入索引,使其可以被检索到
  • 实时分析的分布式搜索引擎,分布式,索引拆分成多个分片,集群中的数据节点可以承载一个或多个分片,并且协调和处理各种操作,负载再平衡和路由大多数情况下自动完成。
  • 可以扩张到上百台服务器,处理PB级别的结构化和非结构化数据,也可以运行在单台PC上。
  • 支持插件机制,分词插件、同步插件、Hadoop插件、可视化插件。

ES 一些基本概念

  • Cluster:集群。ES 可以作为一个独立的单个搜索服务器。不过,为了处理大型数据集,实现容错和高可用,ES可以运行在许多相互合作的服务器上,这些服务器上的 ES 实例集合成为集群。
  • Node:节点。形成集群的每个服务器上的实例分为节点。
  • Shard:分片。当有大量的文档时,由于内存的限制、磁盘处理能力不足、无法足够快的响应客户端的请求等,一个节点可能不够用,这种情况下,数据可以分为较小的分片,每个分片放到不同的服务器上,当查询的索引分布在多个分片上时,ES 会把查询发送给相关的分片,并将结果组合在一起,而应用程序不知道分片的存在,即:这个过程对用户来说是透明的。
  • Replica:副本。为提高查询吞吐量或实现高可用,可以使用分片副本,副本是一个分片的精确复制,每个分片可以有 0 个或者多个副本。

ES 与传统数据库对应关系

ES 和传统关系型数据库结构的一些对应关系

关系型数据

Elasticsearch

备注

数据库 Database

Index

表 Table

Type

6.x 以上已不支持多 type

记录 Record

document

表结构 Scheme

mapping

列 Column

Field

ES 的数据结构

ES 存储的数据字段类型很丰富,主要有:核心类型、复合类型和特殊类型

一级分类

二级分类

具体类型

核心类型

字符串类型

string, text, keyword

整型类型

integer, long, short, byte

浮点类型

double, float, half_float, scaled_float

逻辑类型

boolean

日期类型‍‍

date

范围类型

range(integer_range, float_range, long_range, double_range, date_range)

二进制类型

binary

复合类型

对象类型

object

嵌套类型

nested

地理类型

地理坐标类型

Geo-point

地理地图‍

Geo-shape

特殊类型

IP 类型

ip

自动补全类型‍

completion

统计类型

token_count

附件类型

attachement

过滤器类型

percolator

字段类型说明:

string 类型在旧版本使用较多,从 5.x 开始不再支持 string, 而用 text 和 keyword 替代,text 类型表明,当一个字段是要被全文搜索的,比如Email内容、产品描述,应该使用text类型,设置text类型以后,字段内容会被分析和分词,在生成倒排索引以前,字符串会被分析器分成一个一个词项。Keyword 类型适用于索引结构化得字段,keyword类型的字段只能通过精确值搜索到。

nested 嵌套类型是 object 数据类型的专用版本,允许对象数据可以彼此独立查询的方式索引。专用于存储 JSON 类型数据,可以通过 JSON 内部字段进行查询。

geo_point 类型存储的是经纬度数值,可以按距离对文档进行排序和过滤,而位置距离计算都可以通过查询 ES 得出。

ES 的倒排索引

传统关系型数据库(以 MySQL 为例),其索引结构是查找树(“B ”树)结构,其叶子节点存储索引数据域,其他节点进行查找索引。其索引过程是直接通过二叉查找树找到对应记录。可以理解为通过一列(主键索引)或几列(组合索引)来查找对应记录。

图 1.MySQL "B " Tree Index

而 ES 的索引确十分不同,它是将文档(document)先经过一定的分词器分词之后,存储分词结果作为数据索引。倒排索引存储的是文档分词结果与文档之间的映射关系。

图 2. ElasticSearch Inverted Index

以上就是 ElasticSearch 的一些基本简介,下一篇我们继续讨论 ElasticSearch 的基本使用,包括创建索引、数据备份和恢复、索引模板及分片路由的使用。

0 人点赞