腾讯云 Elasticsearch 购买建议

2021-03-29 12:00:47 浏览数 (1)

Elasticsearch 版本

腾讯云 Elasticsearch 目前提供5个版本:5.6.4、6.4.3、6.8.2、7.5.1、7.10.1版本。具体选择那个版本根据实际需求选择。建议选择 6.8.2 以上的版本,优化和稳定性比较好,并且支持长期优化更新。如果后期需要升级版本,在控制台上即可完成升级。

注:只能逐步升级版本,不支持降级版本。

大版本的差异性参考: https://cloud.tencent.com/document/product/845/36106

高级特性

腾讯云 Elasticsearch 目前提供3个版本:基础版、白金版、开源版。基础版集成了官方高级商业特性插件(原 X-Pack),包含安全(Security)、SQL、机器学习(Machine Learning)、监控(Monitor)等部分高级功能;白金版包含所有高级特性;而基础版只包含 SQL 的一部分和监控功能。详细介绍可参考:https://cloud.tencent.com/document/product/845/34926 。

注:基础版和开源版的价格是一样的,而白金版由于原厂版权费会比基础版和开源版贵10%左右。

可用区部署模式

腾讯云 Elasticsearch 目前仅有部分大地域如北上广提供3个选择:单可用区、双可用区、三可用区,其他地域暂时只提供单可用区,后续会随着腾讯云机房的建设而开放。该功能主要是为了提高es集群的容灾性能,同时需要保证集群中的索引至少设置1个副本,即保证集群始终有两份以上的数据。大部分情况下,单可用区就能满足需求。后期也可以在控制台上升级到多可用区。

多可用区容灾原理参考:https://cloud.tencent.com/document/product/845/35551

节点部署

默认情况下,选择了数据节点和Kibana节点。但是强烈建议开启专用主节点,这个节点对es集群的稳定性能提供有利的保证。如果后期再开启专用主节点,则需要重启数据节点。

各个节点功能参考: https://cloud.tencent.com/document/product/845/32086

数据节点

目前提供了4种机型:标准型、高IO型、大数据型、内存型。其中高IO型、大数据型节点数据盘类型和大小是随着机型的配置变化的,不支持修改;标准型、内存型的节点数据盘类型和大小可以调整。

机型说明:

  • 标准型有SA2和S1两种类型对应的cvm的标准型SA2和标准S系列(S2、S3、S4、S5)机型。
  • 高IO型对应的是cvm的高 IO 型 IT5 、高 IO 型 IT3 机型。
  • 大数据型对应的cvm的 大数据型 D3 、大数据型 D2 。
  • 内存型对应的cvm是 内存型 系列(内存型 M5、内存型 M4 、内存型 M3 、内存型 M2、内存型 M1 )。

大部分情况下,标准型能满足需求,而且标准型提供更多的配置。

注:数据节点机型只能在购买时候选择,购买成功后不能调整机型;

节点规格

不同的机型的节点规格不同,以实际情况为准。

规格能力:

在日志场景的经验是:单台2核8GB内存的cvm最大可支持0.5w/s的写入能力,注意不同业务场景可能有偏差。由于实例性能基本随计算资源总量呈线性扩容,可以按实例资源总量估算写入能力。如果不确定,可以先进行写入测试再调整机型配置。

购买建议:

  1. 优先考虑配置高的机型,再考虑机器个数。比如,需要写入能力为10w/s的es集群,选择5台配置为 8核32g 数据节点的机型,而不是选项20台配置为 2核8g 数据节点的机型。
  2. 当不确定具体的需求的时候,购买高配置的机型。腾讯云es支持灵活调整配置,在确定配置远高于需求的时候可以调低配置。

注:1核2g配置的机型只适用于测试,不可用于生产环境;

单节点数据盘

只有标准型、内存型才能调整数据盘类型和大小。

数据盘类型2种类型:SSD 云硬盘、高性能云硬盘。其中SSD 云硬盘单盘最大吞吐量 260MB/s, 高性能云硬盘最大吞吐 150MB/s。如果觉得单盘IO性能不能满足需求,可以通过添加多块盘来提升IO性能。需要注意的是,1核和2核的机型只能使用单盘,4核及其以上的机型可以选择1~3块数据磁盘。如果没有看到磁盘块数的调整,需要联系腾讯云开通白名单。

购买建议:

  1. 如果业务对查询时间比较敏感,选择SSD 云硬盘,避免磁盘IO性能影响业务。
  2. 如果业务有大量的写入和查询,同时需要存储大量的数据,此时选择2~3块数据盘,优先选择SSD 云硬盘。如果对价格敏感的话,选择3块高性能云硬盘。
  3. 如果使用了多盘,单块盘的大小不小于1TB。

注:

  1. 数据盘类型只在购买时候能选择,购买成功后不支持修改;

2. 6.8及以上版本磁盘容量支持20GB~30TB,而5.6.4、6.4.3 版本磁盘容量支持20GB~6TB。

硬盘类型性能参考: https://cloud.tencent.com/document/product/213/32811

磁盘大小估算:https://cloud.tencent.com/document/product/845/19551

数据节点数量

集群数据节点的个数,需要结合单台的数据节点的性能和业务需要的性能来考虑。比如,需要写入能力为10w/s的es集群,此时可以选择5台配置为 8核32g 数据节点的机型,或者3台配置为 16核64g 数据节点的机型。

注,如果没有选择专属主节点,数据节点的个数一定要大于3,避免脑裂的风险。

冷数据节点

是在创建冷热集群时,需要开启的节点。冷热集群适用于需要存储大量数据,只有近期的数据需要频繁地被查询,而老数据偶尔被查询的场景。详细介绍参考: https://cloud.tencent.com/document/product/845/41176

注:冷数据节点的数据盘只能选择 高性能云硬盘

专用主节点

专用主节点是 Elasticsearch 集群中一种类型的节点,不存储数据,用于保障集群稳定性。强力建议开启。专用主数据节点数量只能选择3个或者5个。大部分情况下3个节点足够了,要是对集群的稳定性要求更高,选择5个节点。

注:专用主节点由于不存储数据,所以不能选择数据盘类型。

Kibana节点

kibana节点是用于安装kibana的节点,默认免费提供1核2G的cvm配置,暂时不支持修改,后续将支持更多规格选择。

注:

  1. Kibana 节点默认是无法关闭的;
  2. 访问Kibana服务无论 Elasticsearch 集群是否开启认证功能,都需要使用用户名加密码方式进行登录;

0 人点赞