MongoDB压测工具

eshujiushiwo 2015-01-21 06:20:41
各位好,
我是E叔,这里是E叔的《Mongodb 分享第八期》

本期分享的是E叔为了方便自己写的一个MongoDB benchmark工具。
PS:刚开始写。不断完善中

点这里,GitHub地址

mongo-mload 工具使用介绍
功能

MongoDB 压力测试工具

2015.01.21更新:

暂时日志功未完善,请用mongostat来观察pqs等
增加了查询压测(两种模式)
增加了清理功能
增加了参数operation,queryall,clean
参数

--host 压测目标(如127.0.0.1)
--port 压测端口(default 27017)
--userName 用户名(如果有)
--passWord 密码(如果有)
--cpunum 多核设定(默认1)
--procnum 压测并发个数(默认4)
--datanum 每个线程插入数据条数(默认10000)
--logpath 日志路径(默认./log.log)
--jsonfile 希望插入document路径(不选用该参数则使用默认的插入格式)
--operation 压测模式(insert,prepare,query)prepare模式会在插入完成后为查询会用的项添加索引
--queryall 压测模式为query的时候,是否返回所有查询到的结果(默认false,即db.xx.findOne())
--clean 是否清理数据(默认false,如果为true将drop数据库mongobench)
测试实例

插入测试

首先清理数据库:
go run mload.go --host xxx.xxx.xxx.xxx --clean true

再来进行插入测试:
使用8核cpu,8个并发,每个并发插入100000条数据,日志输入为/tmp/log.log,插入的每条数据为./test_data.json中的内容

go run mload.go --host xxx.xxx.xxx.xxx --datanum 100000 --procnum 8 --cpunum 8 --logpath /tmp/log.log --jsonfile ./test_data.json --operation insert
查询测试

首先清理数据库:
go run mload.go --host xxx.xxx.xxx.xxx --clean true

再来为查询准备数据(比如准备1000000条):
go run mload.go --host xxx.xxx.xxx.xxx --datanum 1000000 --procnum 1 --logpath /tmp/log.log --operation prepare

接下来进行测试(limit one的):
使用8核cpu,8个并发
go run mload.go --host xxx.xxx.xxx.xxx --datanum 1000000 --procnum 8 --cpunum 8 --operation query --logpath /tmp/log.log

在进行非limit one的:
使用8核cpu,8个并发
go run mload.go --host xxx.xxx.xxx.xxx --datanum 1000000 --procnum 8 --cpunum 8 --operation query --logpath /tmp/log.log --queryall true
待完成

1.日志完善
3.update压测
4.单实例、多数据库 的压测
...全文
2708 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
harry520 2015-12-11
  • 打赏
  • 举报
回复
问题已处理好,打扰了。。 环境变量设置: /etc/profile 内如如下 GOROOT=/usr/local/go GOPATH=$GOROOT/src export PATH=$GOROOT/bin:$PATH export GOPATH GOROOT 安装mongodb驱动 go get gopkg.in/mgo.v2/bson
harry520 2015-12-11
  • 打赏
  • 举报
回复
帮忙看看,谢谢哈
harry520 2015-12-11
  • 打赏
  • 举报
回复
[root@VM_118_53 src]# vi test.go [root@VM_118_53 src]# go run test.go Hello, World! [root@VM_118_53 src]# go run mload.go --host 172.16.118.69 --datanum 100000 --procnum 8 --cpunum 8 --logpath /tmp/log.log --jsonfile ./test_data.json --operation insert mload.go:6:2: cannot find package "gopkg.in/mgo.v2" in any of: /usr/local/go/src/gopkg.in/mgo.v2 (from $GOROOT) ($GOPATH not set) mload.go:7:2: cannot find package "gopkg.in/mgo.v2/bson" in any of: /usr/local/go/src/gopkg.in/mgo.v2/bson (from $GOROOT) ($GOPATH not set)
eshujiushiwo 2015-04-23
  • 打赏
  • 举报
回复
引用 3 楼 yezilove1990 的回复:
[root@mongotest1 src]# go run mload.go --host 172.16.0.115 --datanum 100000 --procnum 8 --cpunum 8 --logpath /tmp/log.log --jsonfile ./test_data.json --operation insert bash: go: command not found 在centos里不好用,麻烦帮忙看下,
HI 这是go语言的源文件。需要安装go语言才能用。 我还没有编译成可执行文件。你可以装个go,然后 go build 下。
yezilove1990 2015-04-20
  • 打赏
  • 举报
回复
[root@mongotest1 src]# go run mload.go --host 172.16.0.115 --datanum 100000 --procnum 8 --cpunum 8 --logpath /tmp/log.log --jsonfile ./test_data.json --operation insert bash: go: command not found 在centos里不好用,麻烦帮忙看下,
WelcomeToTheFuture 2015-01-27
  • 打赏
  • 举报
回复
rucypli 2015-01-23
  • 打赏
  • 举报
回复

1,747

社区成员

发帖
与我相关
我的任务
社区描述
MongoDB相关内容讨论区
社区管理员
  • MongoDB社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧