ES 简介
Elasticsearch 是一个分布式、Restful 风格的搜索数据分析引擎,能够解决常规和各种类型数据的存储及检索需求。作为ELK和ElasticStack的核心,它能够集中存储数据,通过Elasticsearch 能够执行及合并多种类型的搜索(结构化数据、非结构化数据、地理位置、经纬度坐标等数据结构)。
ES 的特点和优势
- 分布式实时文件存储,可将每一个字段存入索引,使其可以被检索到
- 实时分析的分布式搜索引擎,分布式,索引拆分成多个分片,集群中的数据节点可以承载一个或多个分片,并且协调和处理各种操作,负载再平衡和路由大多数情况下自动完成。
- 可以扩张到上百台服务器,处理PB级别的结构化和非结构化数据,也可以运行在单台PC上。
- 支持插件机制,分词插件、同步插件、Hadoop插件、可视化插件。
ES 一些基本概念
- Cluster:集群。ES 可以作为一个独立的单个搜索服务器。不过,为了处理大型数据集,实现容错和高可用,ES可以运行在许多相互合作的服务器上,这些服务器上的 ES 实例集合成为集群。
- Node:节点。形成集群的每个服务器上的实例分为节点。
- Shard:分片。当有大量的文档时,由于内存的限制、磁盘处理能力不足、无法足够快的响应客户端的请求等,一个节点可能不够用,这种情况下,数据可以分为较小的分片,每个分片放到不同的服务器上,当查询的索引分布在多个分片上时,ES 会把查询发送给相关的分片,并将结果组合在一起,而应用程序不知道分片的存在,即:这个过程对用户来说是透明的。
- Replica:副本。为提高查询吞吐量或实现高可用,可以使用分片副本,副本是一个分片的精确复制,每个分片可以有 0 个或者多个副本。
ES 与传统数据库对应关系
ES 和传统关系型数据库结构的一些对应关系
关系型数据 | Elasticsearch | 备注 |
---|---|---|
数据库 Database | Index | |
表 Table | Type | 6.x 以上已不支持多 type |
记录 Record | document | |
表结构 Scheme | mapping | |
列 Column | Field |
ES 的数据结构
ES 存储的数据字段类型很丰富,主要有:核心类型、复合类型和特殊类型
一级分类 | 二级分类 | 具体类型 |
---|---|---|
核心类型 | 字符串类型 | string, text, keyword |
整型类型 | integer, long, short, byte | |
浮点类型 | double, float, half_float, scaled_float | |
逻辑类型 | boolean | |
日期类型 | date | |
范围类型 | range(integer_range, float_range, long_range, double_range, date_range) | |
二进制类型 | binary | |
复合类型 | 对象类型 | object |
嵌套类型 | nested | |
地理类型 | 地理坐标类型 | Geo-point |
地理地图 | Geo-shape | |
特殊类型 | IP 类型 | ip |
自动补全类型 | completion | |
统计类型 | token_count | |
附件类型 | attachement | |
过滤器类型 | percolator |
字段类型说明:
string 类型在旧版本使用较多,从 5.x 开始不再支持 string, 而用 text 和 keyword 替代,text 类型表明,当一个字段是要被全文搜索的,比如Email内容、产品描述,应该使用text类型,设置text类型以后,字段内容会被分析和分词,在生成倒排索引以前,字符串会被分析器分成一个一个词项。Keyword 类型适用于索引结构化得字段,keyword类型的字段只能通过精确值搜索到。
nested 嵌套类型是 object 数据类型的专用版本,允许对象数据可以彼此独立查询的方式索引。专用于存储 JSON 类型数据,可以通过 JSON 内部字段进行查询。
geo_point 类型存储的是经纬度数值,可以按距离对文档进行排序和过滤,而位置距离计算都可以通过查询 ES 得出。
ES 的倒排索引
传统关系型数据库(以 MySQL 为例),其索引结构是查找树(“B ”树)结构,其叶子节点存储索引数据域,其他节点进行查找索引。其索引过程是直接通过二叉查找树找到对应记录。可以理解为通过一列(主键索引)或几列(组合索引)来查找对应记录。
图 1.MySQL "B " Tree Index
而 ES 的索引确十分不同,它是将文档(document)先经过一定的分词器分词之后,存储分词结果作为数据索引。倒排索引存储的是文档分词结果与文档之间的映射关系。
图 2. ElasticSearch Inverted Index
以上就是 ElasticSearch 的一些基本简介,下一篇我们继续讨论 ElasticSearch 的基本使用,包括创建索引、数据备份和恢复、索引模板及分片路由的使用。