基于 Elasticsearch + kibana 实现 IP 地址分布地图可视化

1、需求

有一批特定用途（文末揭晓）的 IP 地址。
想通过地图形式可视化展示 IP 地址对应的经纬度坐标的分布。

2、方案探讨

基础方案如下：

第一步：IP 地址转经纬度坐标。

实现借助第三方工具：https://ipstack.com/

第二步：经纬度坐标借助可视化工具（如：echarts）渲染展示。

这时候不免进一步思考：

有没有更快捷的方案呢？ELK 能实现不？

已知的知识点：

Elasticsearch 支持 Geo-point、Geo-shape 数据类型。
Kibana 支持 Coordinate Map（坐标图）、Region Map（区域地图）可视化地图展示。

两个已知知识点一整合不就是基于 Elasticsearch Kibana 的可视化展示方案吗？

且慢，有没有更快捷的 IP 地址转经纬度坐标的信息呢？

有的。Ingest 数据预处理管道的 GeoIP processor （处理器）就能达到这个目的。

整体架构图如下图所示：

3、GeoIp processor 介绍

官方解读如下：GeoIp processor 根据来自 Maxmind 数据库的数据添加有关IP地址地理位置的信息。

默认情况下，GeoIp processor 将此信息添加到 geoip 字段下。GeoIp processor 可以解析 IPv4 和 IPv6 地址。

更多 Maxmind 数据库信息参见：

https://dev.maxmind.com/geoip/geoip2/geolite2/

在 Elasticsearch 早期版本中 GeoIp processor 需要安装插件才能使用。7.X 版本后，ES 已自带，不需要安装。

4、导入一条数据实战一把

4.1 步骤 1：创建预处理管道

代码语言：javascript复制

PUT _ingest/pipeline/geoip_pipeline
{
  "description" : "Add geoip info",
  "processors" : [
    {
      "geoip" : {
        "field" : "ip"
      }
    }
  ]
}

该预处理的目的就是：将输入的 IP 字段转换为：Geoip 类型。具体 Geoip 类型张什么样？后面会揭晓。

4.2 步骤 2：创建索引

代码语言：javascript复制

DELETE niu_20210215
PUT niu_20210215
{
  "settings": {
    "index.default_pipeline": "geoip_pipeline",
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "properties": {
      "geoip": {
        "properties": {
          "location": {
            "type": "geo_point"
          }
        }
      },
      "ip":{
        "type":"keyword"
      }
    }
  }
}

考虑到后面要批量导入数千条数据，我们采用了取巧的方式。

使用了在创建索引的时候指定缺省管道（index.default_pipeline）的方式。

这样的好处是：

灵活：用户只关心 bulk 批量写入数据。
零写入代码修改：甚至写入数据的代码一行都不需要改就可以。

4.3 步骤 3：写入一条数据

代码语言：javascript复制

PUT niu_20210215/_doc/1
{
  "ip": "8.8.8.8"
}

这时候，我们查看一下完整的 Mapping 张什么样？

代码语言：javascript复制

{
  "niu_20210215" : {
    "mappings" : {
      "properties" : {
        "geoip" : {
          "properties" : {
            "city_name" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "continent_name" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "country_iso_code" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "location" : {
              "type" : "geo_point"
            },
            "region_iso_code" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "region_name" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            }
          }
        },
        "ip" : {
          "type" : "keyword"
        }
      }
    }
  }
}

写入后的数据，查看返回如下：

代码语言：javascript复制

 "_source" : {
  "geoip" : {
    "continent_name" : "North America",
    "country_iso_code" : "US",
    "location" : {
      "lon" : -97.822,
      "lat" : 37.751
    }
  },
  "ip" : "8.8.8.8"
}

有点长，铭毅解读一下：

第一：geoip 是 object 类型，它有几个子字段，含义如下：