需求背景
我们系统使用了自研网关, 包括了api网关和准入网关，分别用来解决服务鉴权和用户身份鉴权。网关的访问日志存原先是自己部署es来存储，我们这次直接用腾讯云es来收集日志。
云es优势
- 弹性扩容伸缩：根据业务需求自定义类型、自定义节点数、自定义容量大小、存储时间等
image.png- 集成可视化：购买es可直接按需生产kibana，可视化es数据，而不需要自己额外安装
image.png- 打通配套组件：logstash、beats 配套工具可按需创建。
image.png插件问题
网关使用filebeat收集日志，网关日志格式是csv, 直接导入es不支持，因此网关引入了一个第三方插件elasticsearch-ingest-csv,来解决csv文件转换问题。 由于该插件比较小众，腾讯云的es默认插件不不包括，但又不支持自定义插件安装，最后又找了万能的小助手，小助手表示自定义插件还在灰度中不支持， 最后我通过内部技术论坛发帖咨询，相关同事才帮忙开通的自定义插件安装，解决了插件问题。
image.png
