MongoDB 压测

2022-04-25 09:17:33 浏览数 (1)

在 MongoDB 上线之前,我们可能想知道它的极限是怎样的,这时,我们可以借助工具对 MongoDB 进行压测,这一节内容就来聊聊通过 YCSB 对 MongoDB 进行压测。

1 安装 MongoDB

MongoDB的安装,可参考:5.x 副本集部署。

2 安装 JAVA 和 Maven

代码语言:javascript复制
yum install java-devel -y

wget http://ftp.heanet.ie/mirrors/www.apache.org/dist/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz
tar xzf apache-maven-*-bin.tar.gz -C /usr/local
cd /usr/local
ln -s apache-maven-* maven

编辑 maven.sh 添加内容:

代码语言:javascript复制
vim /etc/profile.d/maven.sh

加入如下内容:

代码语言:javascript复制
export M2_HOME=/usr/local/maven
export PATH=${M2_HOME}/bin:${PATH}

Reload bash ,运行:

代码语言:javascript复制
bash

确定 mvn 是否安装成功:

代码语言:javascript复制
mvn -version

3 下载 YCSB

代码语言:javascript复制
cd /usr/src
curl -O --location https://github.com/brianfrankcooper/YCSB/releases/download/0.5.0/ycsb-0.5.0.tar.gz
tar xfvz ycsb-0.5.0.tar.gz
cd ycsb-0.5.0

4 编辑配置文件

代码语言:javascript复制
vim workloads/workloada

修改如下内容:

代码语言:javascript复制
mongodb.url=mongodb://root:Lzq20200820@10.11.16.66:27017

recordcount=100000
operationcount=500000
workload=com.yahoo.ycsb.workloads.CoreWorkload

readallfields=true

readproportion=1
updateproportion=0
scanproportion=0
insertproportion=0

requestdistribution=zipfian

关于 YCSB 的压测文件的每个参数的解释如下:

  • recordcount:加载到数据库的记录数;
  • operationcount:执行的操作数;
  • workload:工作负载类型;
  • readproportion:读取操作的比例;
  • updateproportion:更新操作的比例;
  • scanproportion:扫描操作的比例;
  • insertproportion:插入操作的比例;
  • requestdistribution:应该使用什么分布方式来选择要操作的记录,包括:uniform, zipfian, hotspot, sequential, exponential 和 latest。

5 运行压测

加载压测数据:

代码语言:javascript复制
./bin/ycsb load mongodb -P workloads/workloada

进行压测:

代码语言:javascript复制
./bin/ycsb run mongodb -P workloads/workloada

可看到如下结果:

代码语言:javascript复制
......
[OVERALL], RunTime(ms), 27187.0
[OVERALL], Throughput(ops/sec), 1839.1142825615184
[READ], Operations, 25202.0
[READ], AverageLatency(us), 413.5915800333307
[READ], MinLatency(us), 226.0
[READ], MaxLatency(us), 120703.0
[READ], 95thPercentileLatency(us), 558.0
[READ], 99thPercentileLatency(us), 1021.0
[READ], Return=OK, 25202
[CLEANUP], Operations, 1.0
[CLEANUP], AverageLatency(us), 1297.0
[CLEANUP], MinLatency(us), 1297.0
[CLEANUP], MaxLatency(us), 1297.0
[CLEANUP], 95thPercentileLatency(us), 1297.0
[CLEANUP], 99thPercentileLatency(us), 1297.0
[UPDATE], Operations, 24798.0
[UPDATE], AverageLatency(us), 651.412371965481
[UPDATE], MinLatency(us), 344.0
[UPDATE], MaxLatency(us), 753663.0
[UPDATE], 95thPercentileLatency(us), 761.0
[UPDATE], 99thPercentileLatency(us), 1317.0
[UPDATE], Return=OK, 24798

通过 “[OVERALL], Throughput(ops/sec)”,可看出我们压测的实例 OPS 大概为:1839。当然,压测过程也需要关注 CPU、内存等,看是否已经到极限了。

0 人点赞