在 MongoDB 上线之前,我们可能想知道它的极限是怎样的,这时,我们可以借助工具对 MongoDB 进行压测,这一节内容就来聊聊通过 YCSB 对 MongoDB 进行压测。
1 安装 MongoDB
MongoDB的安装,可参考:5.x 副本集部署。
2 安装 JAVA 和 Maven
代码语言:javascript复制yum install java-devel -y
wget http://ftp.heanet.ie/mirrors/www.apache.org/dist/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz
tar xzf apache-maven-*-bin.tar.gz -C /usr/local
cd /usr/local
ln -s apache-maven-* maven
编辑 maven.sh 添加内容:
代码语言:javascript复制vim /etc/profile.d/maven.sh
加入如下内容:
代码语言:javascript复制export M2_HOME=/usr/local/maven
export PATH=${M2_HOME}/bin:${PATH}
Reload bash ,运行:
代码语言:javascript复制bash
确定 mvn 是否安装成功:
代码语言:javascript复制mvn -version
3 下载 YCSB
代码语言:javascript复制cd /usr/src
curl -O --location https://github.com/brianfrankcooper/YCSB/releases/download/0.5.0/ycsb-0.5.0.tar.gz
tar xfvz ycsb-0.5.0.tar.gz
cd ycsb-0.5.0
4 编辑配置文件
代码语言:javascript复制vim workloads/workloada
修改如下内容:
代码语言:javascript复制mongodb.url=mongodb://root:Lzq20200820@10.11.16.66:27017
recordcount=100000
operationcount=500000
workload=com.yahoo.ycsb.workloads.CoreWorkload
readallfields=true
readproportion=1
updateproportion=0
scanproportion=0
insertproportion=0
requestdistribution=zipfian
关于 YCSB 的压测文件的每个参数的解释如下:
- recordcount:加载到数据库的记录数;
- operationcount:执行的操作数;
- workload:工作负载类型;
- readproportion:读取操作的比例;
- updateproportion:更新操作的比例;
- scanproportion:扫描操作的比例;
- insertproportion:插入操作的比例;
- requestdistribution:应该使用什么分布方式来选择要操作的记录,包括:uniform, zipfian, hotspot, sequential, exponential 和 latest。
5 运行压测
加载压测数据:
代码语言:javascript复制./bin/ycsb load mongodb -P workloads/workloada
进行压测:
代码语言:javascript复制./bin/ycsb run mongodb -P workloads/workloada
可看到如下结果:
代码语言:javascript复制......
[OVERALL], RunTime(ms), 27187.0
[OVERALL], Throughput(ops/sec), 1839.1142825615184
[READ], Operations, 25202.0
[READ], AverageLatency(us), 413.5915800333307
[READ], MinLatency(us), 226.0
[READ], MaxLatency(us), 120703.0
[READ], 95thPercentileLatency(us), 558.0
[READ], 99thPercentileLatency(us), 1021.0
[READ], Return=OK, 25202
[CLEANUP], Operations, 1.0
[CLEANUP], AverageLatency(us), 1297.0
[CLEANUP], MinLatency(us), 1297.0
[CLEANUP], MaxLatency(us), 1297.0
[CLEANUP], 95thPercentileLatency(us), 1297.0
[CLEANUP], 99thPercentileLatency(us), 1297.0
[UPDATE], Operations, 24798.0
[UPDATE], AverageLatency(us), 651.412371965481
[UPDATE], MinLatency(us), 344.0
[UPDATE], MaxLatency(us), 753663.0
[UPDATE], 95thPercentileLatency(us), 761.0
[UPDATE], 99thPercentileLatency(us), 1317.0
[UPDATE], Return=OK, 24798
通过 “[OVERALL], Throughput(ops/sec)”,可看出我们压测的实例 OPS 大概为:1839。当然,压测过程也需要关注 CPU、内存等,看是否已经到极限了。