使用MongoDB的MapReduce报错

java__net 2020-02-23 05:04:14

我在使用MongoDB的过程中，使用了MapReduce的方法来做一些计算，但是系统运转了一段时间以后，随着数据量的增长开始出现问题。
系统日志报错如下：



MongoDB.Driver.MongoCommandException: Command 'mapreduce' failed: too much data for in memory map/reduce (response: { "ok" : 0.0, "errmsg" : "too much data for in memory map/reduce", "code" : 13604, "codeName" : "Location13604"

但我经过系统检测，在执行过程内连4G都没有用到。

谷歌了很久都没有找到有类似经验的内容，不知道这里是不是有朋友遇到过，还请给与意见。

谢谢

...全文

501 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

heqi_long_java 2022-12-01

打赏
举报

怀疑是mongotemplate在未指定out集合的情况下，会在内存操作，制定out输出集合就正常了

青鬆下的坚躯 2020-02-29

打赏
举报

这个只看系统内存不行，你还得看下MongoDB配置里的内存大小--inMemorySizeGB <number>。默认配置的可用内存大小 = 系统内存大小-1G*50% https://docs.mongodb.com/v3.2/reference/program/mongod/#cmdoption-mongod-inmemorysizegb

该部分内容包含了数据库安全、副本集搭建、数据备份恢复和导入导出、mapreduce原理和使用、分片集群的搭建以及搭建集群中可能出现的问题解决

内容概要：本文档详细介绍了在统信操作系统服务器版上搭建Hadoop 3.3.6大数据生态集群的全过程，涵盖虚拟环境准备、基础服务配置与核心组件安装。主要包括：通过NTP实现三台虚拟机（node1-node3）的时间同步；配置静态IP、主机名及SSH免密登录；关闭防火墙并安装JDK 1.8作为运行环境。随后部署Hadoop集群，配置HDFS、YARN、MapReduce的核心参数，并规划NameNode、DataNode、ResourceManager等角色分布。进一步安装Zookeeper 3.5.7实现协同服务，配置myid和集群通信。集成HBase 3.0.0构建分布式列式数据库，依赖HDFS和Zookeeper，并解决HMaster启动问题。安装MySQL 5.7作为元数据存储，用于Hive和Sqoop。部署Hive 3.1.3，配置其连接MySQL元数据库，并演示内部/外部表、分区表及HQL查询操作。利用Sqoop 1.4.7实现MySQL与HDFS/Hive之间的双向数据迁移，解决驱动和权限问题。最后简要介绍Spark 3.3.1的分布式安装与启动。文档还涉及MongoDB 8.0.3的安装与基本操作。; 适合人群：具备Linux操作系统、网络基础和Java开发经验，从事大数据平台搭建、运维或开发的技术人员，尤其是初学者和中级工程师。; 使用场景及目标：①学习和实践Hadoop生态系统各组件（HDFS, YARN, MapReduce, HBase, Hive, Sqoop, Spark, Zookeeper）的单机及集群部署流程；②掌握大数据平台环境配置的关键步骤，如时间同步、SSH免密、环境变量设置；③实现关系型数据库与Hadoop之间的数据导入导出，构建端到端的数据处理管道。; 阅读建议：此文档为实操性极强的安装指南，建议读者严格按照步骤在虚拟环境中进行实践。重点关注配置文件的修改（如core-site.xml, hdfs-site.xml, hive-site.xml等）和环境变量的设置。对于遇到的报错（如“找不到主类”、“权限问题”、“驱动缺失”），应仔细对照文档提供的解决方案进行排查。建议在操作前充分理解各组件的作用及其相互关系。

MongoDB学习笔记—MapReduceMapReduce1.mapreduce是根据map函数里调用的emit函数的第一个参数来进行分组的Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数, Map 函数调用 emit(key, val

　　太久没动这里，目前人生处于一个新的开始。这次博客的内容很久前就想更新上来，但是一直没找到合适的时间点（哈哈，其实就是懒），主要内容集中在使用Mongodb时的一些隐蔽的MapReduce问题：　　1、Reduce时的计数问题　　2、Reduce时的提取数据问题　　另外，补充一个小tips：mongoDB中建立的索引，优先使用固定的，而不要使用范围。一、MapReduce时...

今天项目中发现MongoDB运行MapReduce是报错，提示reduce空间已经满了。查询资料了解，reduce在执行过程中是有空间大小的，当数据量满了的时候，reduce就会停止。 mongodb对单个文档大小的限制是>v1.8版本的16MB, res = db.runCommand({ mapreduce:'mo_log_201208', map:function() {