1, 调用和使用pgbench工具,输出文档。
http://tapd.oa.com/Greenplum/markdown_wikis/view/#1010134541008425443
2,磁盘性能测试。
fio --bs=128k --ioengine=libaio --iodepth=32 --direct=1 --rw=randrw --time_based --runtime=60 --refill_buffers --norandommap --randrepeat=0 --group_reporting --name=fio-write --size=10G --filename=/data/greenplum/fiotest/fio.txt
云SSD(MB/S) | 本地SSD | 本地SATA | 云SSD IOPS | SATA IOPS | 本地SSD IOPS | ||
---|---|---|---|---|---|---|---|
顺序读4K | 43 | 347 | 183 | 10845 | 45798 | 86793 | |
顺序读128K | 162 | 3346 | 188 | 1263 | 1470 | 26768 | |
顺序写4K | 18 | 517 | 188 | 4506 | 46978 | 129388 | |
顺序写128K | 178 | 2365 | 186 | 1390 | 1457 | 18926 | |
随机读写4K | 12 | 45 | 11 | 3,183 | 285 | 11336 | |
随机读写128K | 124 | 627 | 26 | 969 | 200 | 4,898 |
3,大数据机型 8T 数据测试 ,跑完数据。待分析数据。
4,基于 本地SSD,云SSD,SATA盘 的Snova集群测试。
4个segment,
4.1 平均update, TPS 60以内,单次请求耗时170ms。
4.2 各磁盘介质对性能影响不大,反而master对性能有影响。
云SSD 1 块盘 nc.large snova-kkxo5r38
4 节点 45 tps update.sql
master 2核 8G, SSD云盘50G 高性能云盘150GB --->16 64G 63tps
接下来要做:
1,给出大数据量下update的平均耗时,以及提升性能的方式。
2,云SSD与SATA盘各种的AP性能差异。
结论
1, 顺序读写:本地SSD>本地SATA>云SSD。
2, 随机读写:本地SSD>云SSD>本地SATA。
3,顺序读写GP性能与磁盘介质顺序读写性能一致,比如大量的OLAP分析,涉及写临时文件,磁盘顺序写请求负载高,因此磁盘顺序写性能占优。
4,随机读写 GP性能与磁盘随机读写性能一致,比如从gpfidst导入数据,涉及分区表,多个数据文件(一个对表一个文件),随机读写负载高。
5,GP的OLTP性能一般,对于update,不超过 100 tps,平均耗时20-300ms。master节点配置容易成为瓶颈,与segment数量规格,磁盘介质影响不大。