hadoop运行 jar包的时候,怎么设置–Xms –Xmx –Xmn参数?

ramontop1 2014-11-05 03:37:23
xml文件里面加?export HADOOP_CLIENT_OPTS?还是hadoop jar 后面加参数?
如果多个参数咋写?
...全文
1896 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
ramontop1 2014-12-09
  • 打赏
  • 举报
回复
最后修改的 hadoop-env.sh里面的: 57 # The following applies to multiple commands (fs, dfs, fsck, distcp etc) 58 #export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"
ramontop1 2014-11-06
  • 打赏
  • 举报
回复
灰常感谢~~
  • 打赏
  • 举报
回复
hadoop jar 后面可以通过 -D property=value ,以前好像是-jobConf 来添加相应的参数键值对 也可以设置 mapred.map.child.java.opts和mapred.reduce.child.java.opts、 mapreduce.admin.map.child.java.opts和mapreduce.admin.reduce.child.java.opts
skyWalker_ONLY 2014-11-05
  • 打赏
  • 举报
回复
在mapred-site.xml添加,类似于
<property> 
        <name>mapred.map.child.java.opts</name> 
        <value> -Xmx512M -Djava.library.path=/home/mycompany/lib-verbose:gc -  Xloggc:/tmp/@taskid@.gc  -Dcom.sun.management.jmxremote.authenticate=false-Dcom.sun.management.jmxremote.ssl=false 
       </value> 
</property>
<property> 
        <name>mapred.reduce.child.java.opts</name> 
        <value>   -Xmx1024M-Djava.library.path=/home/mycompany/lib -verbose:gc - Xloggc:/tmp/@taskid@.gc  -Dcom.sun.management.jmxremote.authenticate=false-Dcom.sun.management.jmxremote.ssl=false 
        </value> 
</property>

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧