20,808
社区成员
发帖
与我相关
我的任务
分享mapreduce任务执行中，能否动态调整某个task的内存？
提交一个比较大的job，某一个或几个map或者reduce任务经常会物理内存不足，最后job失败。但是job比较大，也比较耗时，报错后，要调整内存设置重新运行，很耗时间。另外，调大了内存设置后，并行的任务数量就会减少，影响整体的计算效率。能否在某个task因为内存不足报错失败时，通过代码或者什么方式动态调整指定task的内存设置，重新执行？
...全文
请发表友善的回复…
发表回复
无人交流的问题 2021-05-24
- 打赏
- 举报
网上不是有挺多数据倾斜的解决方案嘛，增加map的个数应该是比较有效的一种
chongchongone 2021-04-26
- 打赏
- 举报
某一个或几个map或者reduce的内存不足，应该是数据分配不均，出现了数据倾斜所致，可以自定Partitioner，均衡数据分分配
飞向海洋的猪 2021-02-18
- 打赏
- 举报
不可能动态调整内存的。
