当局者迷旁观者清,hadoop2.3自带例子运行不了!!求高手

IanChenV 2014-03-05 10:28:19
运行指令./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar randomwriter input

半个小时过去还是这个画面!!!!!
把步骤列出来,求高手帮助。搞了两天,快奔溃!!!!有高手加一下我QQ可以吗??????????????

1、三台虚拟机

master 192.168.224.128
slave1 192.168.224.201
slave2 192.168.224.202

2、配置hosts文件、hostnames文件、network/interfacs文件

master

slave2

slave1


3、配置ssh

4、安装jdk

5、防火墙

6、hadoop的安装配置
1)建/dfs/name /dfs/data 和temp文件

2)配置hadoop-env.sh文件

3)配置yarn-env.sh文件

4)配置slaves文件

5)配置core-site.xml文件

6)配置hdfs-site.xml文件

7)配置mapred-site.xml文件

8)配置yarn-site.xml文件

9)配置/etc/profile文件



验证


...全文
303 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
撸大湿 2014-03-06
  • 打赏
  • 举报
回复
去源码目录hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples 修改RandomWriter.java源码,重新打包编译

//第248行左右
//int numMapsPerHost = conf.getInt(MAPS_PER_HOST, 10); 把10修改成1
int numMapsPerHost = conf.getInt(MAPS_PER_HOST, 1); 
//long numBytesToWritePerMap = conf.getLong(BYTES_PER_MAP,1*1024*1024*1024); 把1G改成 1M
long numBytesToWritePerMap = conf.getLong(BYTES_PER_MAP,1*1024*1024); 
你两台SLAVER,按照RandomWriter的做法,每台SLAVER会生成10 map * 1G 的数据 虚拟机就算了,别折腾,把数据改小点
IanChenV 2014-03-06
  • 打赏
  • 举报
回复
引用 1 楼 tntzbzc 的回复:
去源码目录hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples 修改RandomWriter.java源码,重新打包编译

//第248行左右
//int numMapsPerHost = conf.getInt(MAPS_PER_HOST, 10); 把10修改成1
int numMapsPerHost = conf.getInt(MAPS_PER_HOST, 1); 
//long numBytesToWritePerMap = conf.getLong(BYTES_PER_MAP,1*1024*1024*1024); 把1G改成 1M
long numBytesToWritePerMap = conf.getLong(BYTES_PER_MAP,1*1024*1024); 
你两台SLAVER,按照RandomWriter的做法,每台SLAVER会生成10 map * 1G 的数据 虚拟机就算了,别折腾,把数据改小点
谢谢版主,版主威武!!!

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧