Greenplum性能分析

2020-10-22 09:25:41 浏览数 (2)

1, 调用和使用pgbench工具,输出文档。

http://tapd.oa.com/Greenplum/markdown_wikis/view/#1010134541008425443

2,磁盘性能测试。

fio --bs=128k --ioengine=libaio --iodepth=32 --direct=1 --rw=randrw  --time_based --runtime=60  --refill_buffers --norandommap --randrepeat=0 --group_reporting --name=fio-write --size=10G --filename=/data/greenplum/fiotest/fio.txt  

云SSD(MB/S)

本地SSD

本地SATA

云SSD IOPS

SATA IOPS

本地SSD IOPS

顺序读4K

43

347

183

10845

45798

86793

顺序读128K

162

3346

188

1263

1470

26768

顺序写4K

18

517

188

4506

46978

129388

顺序写128K

178

2365

186

1390

1457

18926

随机读写4K

12

45

11

3,183

285

11336

随机读写128K

124

627

26

969

200

4,898

3,大数据机型 8T 数据测试 ,跑完数据。待分析数据。

4,基于 本地SSD,云SSD,SATA盘 的Snova集群测试。

4个segment,

4.1 平均update, TPS 60以内,单次请求耗时170ms。 

4.2 各磁盘介质对性能影响不大,反而master对性能有影响。

云SSD   1 块盘  nc.large  snova-kkxo5r38     

4 节点  45 tps update.sql  

master 2核 8G, SSD云盘50G 高性能云盘150GB --->16 64G    63tps

接下来要做:

1,给出大数据量下update的平均耗时,以及提升性能的方式。

2,云SSD与SATA盘各种的AP性能差异。

结论

1, 顺序读写:本地SSD>本地SATA>云SSD。

2, 随机读写:本地SSD>云SSD>本地SATA。

3,顺序读写GP性能与磁盘介质顺序读写性能一致,比如大量的OLAP分析,涉及写临时文件,磁盘顺序写请求负载高,因此磁盘顺序写性能占优。

4,随机读写 GP性能与磁盘随机读写性能一致,比如从gpfidst导入数据,涉及分区表,多个数据文件(一个对表一个文件),随机读写负载高。

5,GP的OLTP性能一般,对于update,不超过 100 tps,平均耗时20-300ms。master节点配置容易成为瓶颈,与segment数量规格,磁盘介质影响不大。

0 人点赞