我现在用的是cdh5 想让其中的几个节点不执行mr任务怎么配置

bigdatayunzhongyan 2014-08-13 08:24:57

我现在用的是cdh5 manager 想让其中的几个节点不执行mr任务，
有一个参数mapreduce.jobtracker.hosts.exclude.filename（不知道是不是这个）但是配置怎么都不成功，求大神帮忙！感激不尽！

要是知道能在cloudera manager中怎么配置那就更好了

...全文

249 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

商求必应 2014-08-14

打赏
举报

回复

路过愿楼主好运

在CDH5.5.0版本中，Spark SQL和SparkR组件未包含，缺少start-thriftserver.sh脚本，导致SQL查询默认使用MR。要启用Spark SQL，你需要寻找替代方法来配置Thrift Server。

本文详细介绍CDH集群的搭建步骤，包括服务器配置、CDH安装、大数据组件安装配置等内容，适用于初学者及有一定基础的大数据从业者。

在CDH 6.1.0环境下遇到的问题及解决方法，包括克隆节点后添加到集群失败，解决方法是删除uuid文件；hadoop jar提交MR任务报错，通过在CM中安装YARN MapReduce框架JAR解决；升级CDH版本后命令找不到，使用alternatives命令配置；虚拟机意外关机导致cloudera-scm-server启动失败，解决办法是删除MySQL的redo log文件并重启MySQL。

本文详细介绍如何在Cloudera Manager中配置CDH-LZO，包括下载对应版本的hadoop-lzo，通过parcels安装并激活lzo服务，以及修改HDFS、YARN配置和MR应用程序环境，确保LZO压缩功能在集群中正常运行。

本文档详细介绍了如何在非Kerberos和Kerberos环境下提交MapReduce作业。首先，环境准备包括Kerberos集群CDH5.11.2和非Kerberos集群CDH5.13。接着，通过Java代码展示了作业提交过程，并提供了Maven编译打包的命令。在非Kerberos集群上，直接使用`hadoop jar`命令提交作业；而在Kerberos集群上，需要先初始化Kerberos账号。最后，观察Yarn界面和HDFS输出以确认作业执行情况。

932

社区成员

652

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章