Greenplum集群安装配置及最佳实践

1 总体介绍

1.1 硬件平衡

1、性能

2、容量

3、成本

1.2 高可用

1、节点

2、网络

3、磁盘

1.3 部署方案

1、Master与Standby Master分级部署

2、Primary Segment与Mirror Segment 分机部署

3、Segment Mirroring 部署方案

3.1、Group Mirroring

3.2、Spread Mirroring

3.3、Group Spread Mirroring

4、Pivotal Supported Greenplum 必须部署Mirroring Segment

5、铜一主机Segment个数

5.1 CPU/Core 数据

5.2 查询并发数

5.3 查询复杂度

5.3 单机Primary Segment 总数不能过多

1.3.1 Group Mirroring 部署方案

按照以下4台机器Group Mirroring的部署方案总结

缺点: 一台机器down掉后，会把流量全部放在下一个节点，下一个节点的流量会变成2倍的流量

优点: down掉一台机器后，集群能正常的提供服务,如果再down掉第二台集群就不可用

1.3.2 Spread Mirroring 部署方案

按照以下4台机器Spread Mirroring的部署方案总结

缺点: 一台机器down掉后，会把流量全部放在下两个节点

优点: down掉一台机器后，集群能正常的提供服务,如果再down掉第二台集群就不可用

1.3.3 Group Spread Mirroring 部署方案

如果集群比较大建议使用Group Spread Mirroring部署方案，如果集群由down流量会分流道其他的机器上,集群不可用的几率比较小。

2 硬件选型

2.1 Master 节点

2.1.1 网卡

1、2块万兆网卡内部互联

2、1-2块千兆网卡带外管理及接入客户网络

2.1.2 内存

DDR4 64GB以上，建议256G

2.1.3 磁盘

1、6块600G/900G 10k RPM SAS盘

2、采用RAID5或RAID10

3、单独预留hotspare 盘

4、1块RAID卡，cache 1GB以上，带有掉电保护功能

2.1.4 CPU

1、2路8核及以上

2、主频2.5G HZ以上

2.2 Segment 节点

2.2.1 网卡

1、2块万兆网卡内部互联

2、1-2块千兆网卡带外管理及接入客户网络

2.2.2 内存

DDR4 64GB以上，建议256G

2.2.3 磁盘

1、24块600G/900G 10k RPM SAS盘

2、采用RAID5或RAID10

3、单独预留hotspare 盘

4、1-2块RAID卡，cache 1GB以上，带有掉电保护功能

2.2.4 CPU

1、2路8核及以上

2、主频2.5G HZ以上

2.3节点配置实例

2.4硬件配置经验总结

1、磁盘故障时Greenplum集群最常见的故障

1.1分析性查询: SAS盘 > SATA盘

1.2高并发小IO查询: 优先SSD或NVMe

2、RAID级别

2.1 RAID-5 VS RAID-10

3、RAID 卡一定带Cache功能，能提高磁盘的读写性能。

4、硬件监控

5、预留灾备机

RAID-5 VS RAID-10的区别:

RAID-5:在容量上会比较大，储存会达到90%的利用率，在读写的性能上比RAID10会好一点,RAID5的可靠性会差很多。

RAID-10:冗余级别更高，储存会达到50%的利用率，当有的盘出现坏的情况下，磁盘的可靠性有保证。

3 硬件配置

1主机配置实例

一下的配置两个CPU主机的例子,两个segment两个primary两个mirror以及两个网卡的例子

2 磁盘的配置

3 网络配置

4 交换机配置

以下配置是两个交换机，配置的流量是均衡的。

4 储存规划

4.1 磁盘可用空间

4.2 用户数据容量

4.3 系统数据容量

5 集群的配置

5.1 最低系统要求

以下是系统的最低的配置

5.2 系统设置

5.3 操作系统参数设置

5.4 I/O设置

5.5 其他设置

6 集群安装

6.1 安装方式

6.2 数据库目录

7 集群验证

7.1 硬件性能验证

7.2 集群初始化

7.3 配置文件

7.4 数据目录

7.5 pg_hba.conf 配置文件

7.6 安装完后的环境变量

8 可选组件安装

8.1 安装外部支持的语言

8.2 使用gppkg 命令安装

8.2 故障诊断

sas greenplum 集群

0 人点赞