使用MongoDB的MapReduce报错

java__net 2020-02-23 05:04:14
我在使用MongoDB的过程中,使用了MapReduce的方法来做一些计算,但是系统运转了一段时间以后,随着数据量的增长开始出现问题。
系统日志报错如下:


MongoDB.Driver.MongoCommandException: Command 'mapreduce' failed: too much data for in memory map/reduce (response: { "ok" : 0.0, "errmsg" : "too much data for in memory map/reduce", "code" : 13604, "codeName" : "Location13604"


但我经过系统检测,在执行过程内连4G都没有用到。

谷歌了很久都没有找到有类似经验的内容,不知道这里是不是有朋友遇到过,还请给与意见。

谢谢
...全文
457 2 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
heqi_long_java 2022-12-01
  • 打赏
  • 举报
回复

怀疑是mongotemplate在未指定out集合的情况下,会在内存操作,制定out输出集合就正常了

青鬆下的坚躯 2020-02-29
  • 打赏
  • 举报
回复
这个只看系统内存不行,你还得看下MongoDB配置里的内存大小--inMemorySizeGB <number>。 默认配置的可用内存大小 = 系统内存大小-1G*50% https://docs.mongodb.com/v3.2/reference/program/mongod/#cmdoption-mongod-inmemorysizegb

1,798

社区成员

发帖
与我相关
我的任务
社区描述
MongoDB相关内容讨论区
社区管理员
  • MongoDB社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧