elasticsearch 学习笔记01

2022-09-29 12:22:46 浏览数 (1)

背景

本文是学习 elasticsearch 时的学习笔记

关键概念

倒排索引

ES 对它的最小词源(Term) 维护了一个“倒排索引”，即 “从 最小词源 到文档ID 的映射”。 在文档入库时会先分词，完成后可查询。当查询时，比如 中国，人民 这样 的词，在查找时它所对应的 数据记录的ID有，1，14，1001 这样的数据ID。es 把这些ID的记录包含组成结果返回就是查询结果了。

数据对应关系

索引(Index) 对应数据库 类型(Type) 表 文档（document） 对应行的记录 字段（Field） 字段

映射（mapping） 是对处理数据的方式和规则方面做出的一些限制，如某个字段的数据类型、默认值、是否被索引等等，这些都是映射里面做出限制。在处理 Elasticsearch 里数据的一些使用规则的设置也叫做映射，建立出一个良好的映射，可以有效的提升我们在处理数据时的效率和性能。

分片和副本

Shards（分片）：当索引存储大量数据时，可能会超出单个节点的硬件限制，为了解决这个问题，Elasticsearch提供了将索引细分为分片的概念。分片机制赋予了索引水平扩容的能力、并允许跨分片分发和并行化操作，从而提高性能和吞吐量。 Replicas（副本）：在可能出现故障的网络环境中，需要有一个故障切换机制，Elasticsearch提供了将索引的分片复制为一个或多个副本的功能，副本在某些节点失效的情况下提供高可用性。

安装

使用 docker 安装

参考官网使用docker安装： https://www.elastic.co/guide/en/elasticsearch/reference/master/docker.html

使用包安装

先下载包

代码语言：javascript复制
elasticsearch 下载地址
https://www.elastic.co/cn/downloads/elasticsearch

kibana 下载地址
https://www.elastic.co/cn/downloads/kibana

启动 elasticsearch

代码语言：javascript复制
（1）启动 elasticsearch
进入解压后的 elasticsearch 文件夹，执行 ./bin/elasticsearch
启动后，在控制台日志里看看到 ：
    * elastic 账号的密码
    * 一个 enrollment token ，等下要用

（2）启动 kibana
进入解压后的 kibana 文件夹，执行 ./bin/kibana

（3）打开web 页面
打开web 页面 http://localhost:5601/?code=545569
  先：输入上面的 enrollment token
  再：输入 账号密码
（4） 在左侧菜单 找到 dev-tools，打开 console ，就可以和 elasticsearch 交互了

一些指令

查看状态的操作

代码语言：javascript复制
查看集群健康状态；
  GET /_cat/health?v

查看节点状态；
  GET /_cat/nodes?v

查看所有索引信息；
  GET /_cat/indices?v

索引操作

代码语言：javascript复制
查看有那些索引
  GET /_cat/indices?v

创建索引，比如创建一个 叫做 customer 的索引
  PUT /customer

删除索引
  DELETE /customer

类型的操作

就是看 这个类型有哪些字段（有哪些映射 mapping ）

代码语言：javascript复制
  查看文档的类型；
  GET /bank/account/_mapping

文档的操作

代码语言：javascript复制
在索引中添加文档；
  PUT /customer/doc/1
  {
    "name": "John Doe"
  }

查看文档；
  GET /customer/doc/1

修改文档
  POST /customer/doc/1/_update
  {
    "doc": { "name": "Jane Doe" }
  }

删除文档；
  DELETE /customer/doc/1

批量操作
  POST /customer/doc/_bulk
  {"index":{"_id":"1"}}
  {"name": "John Doe" }
  {"index":{"_id":"2"}}
  {"name": "Jane Doe" }

搜索

数据搜索

查询表达式(Query DSL)是一种非常灵活又富有表现力的查询语言，Elasticsearch使用它可以以简单的JSON接口来实现丰富的搜索功能。

代码语言：javascript复制
搜索全部；
  GET /bank/_search
  {
    "query": { "match_all": {} }
  }

分页搜索，from表示偏移量，从0开始，size表示每页显示的数量；
  GET /bank/_search
  {
    "query": { "match_all": {} },
    "from": 0,
    "size": 10
  }


搜索排序，使用sort表示，例如按balance字段降序排列；
  GET /bank/_search
  {
    "query": { "match_all": {} },
    "sort": { "balance": { "order": "desc" } }
  }


搜索并返回指定字段内容
字段使用_source表示，例如只返回account_number和balance两个字段内容：

  GET /bank/_search
  {
    "query": { "match_all": {} },
    "_source": ["account_number", "balance"]
  }

条件搜索

条件搜索. 对于数值类型match操作使用的是精确匹配，对于文本类型使用的是模糊匹配；

代码语言：javascript复制
条件搜索，使用match表示匹配条件，例如搜索出account_number为20的文档：

GET /bank/_search
{
  "query": {
    "match": {
      "account_number": 20
    }
  }
}

短语匹配搜索，使用match_phrase表示，例如搜索address字段中同时包含mill和lane的文档：

GET /bank/_search
{
  "query": {
    "match_phrase": {
      "address": "mill lane"
    }
  }
}


组合搜索 bool
组合搜索，使用bool来进行组合，must表示同时满足，例如搜索address字段中同时包含mill和lane的文档；

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

组合搜索 must_not
must_not 表示同时不满足，例如搜索address字段中不包含mill且不包含lane的文档；

GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}


组合搜索，结合 must和 must_not，
例如搜索age字段等于40且state字段不包含ID的文档；

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}


过滤搜索 filter
搜索过滤，使用filter来表示，例如过滤出balance字段在20000~30000的文档；

GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

聚合

代码语言：javascript复制
搜索聚合 aggs

对搜索结果进行聚合，使用aggs来表示，类似于MySql中的group by，例如对state字段进行聚合，统计出相同state的文档数量；

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}


嵌套聚合，例如对state字段进行聚合，统计出相同state的文档数量，再统计出balance的平均值；
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}


聚合搜索,和排序
对聚合搜索的结果进行排序，例如按balance的平均值降序排列；

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

分段聚合
按字段值的范围进行分段聚合，例如分段范围为age字段的[20,30] [30,40] [40,50]，之后按gender统计文档个数和balance的平均值；

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}

在 springboot 项目中集成使用

开始之前

主要是使用 spring-data-elasticsearch 参考： https://spring.io/projects/spring-data-elasticsearch https://docs.spring.io/spring-data/elasticsearch/docs/current/reference/html/

编程算法 ElasticsearchService spring 容器镜像服务 https

0 人点赞