社区
Hadoop生态社区
帖子详情
hadoop运行自带wordcount例子一直不出结果?
li381680969
2012-12-21 05:06:12
运行hadoop自带例子时 出现这种情况,等了好几个小时也没出来后面的内容,是什么原因?
是一直没有运行完?什么原因?谢谢大家了
刚接触hadoop实在不明白
...全文
627
8
打赏
收藏
hadoop运行自带wordcount例子一直不出结果?
运行hadoop自带例子时 出现这种情况,等了好几个小时也没出来后面的内容,是什么原因? 是一直没有运行完?什么原因?谢谢大家了 刚接触hadoop实在不明白
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
早上的阳光
2014-08-14
打赏
举报
回复
楼主的问题解决了吗,我也遇到这样的问题
li381680969
2012-12-23
打赏
举报
回复
381680969,谢谢啦
紫金
2012-12-22
打赏
举报
回复
日志没有输出吗?把日志也贴上来
紫金
2012-12-22
打赏
举报
回复
把你QQ留下
li381680969
2012-12-22
打赏
举报
回复
加个QQ吧,好好向前辈学习。
li381680969
2012-12-22
打赏
举报
回复
嗯 ,那也谢谢你啦,我怀疑是不是我的例子有问题呢
紫金
2012-12-22
打赏
举报
回复
日志没有错误,还真没遇到过这种问题,实际上我也没有在cygwin环境下做过测试
li381680969
2012-12-22
打赏
举报
回复
2012-12-22 13:51:35,234 INFO org.apache.hadoop.hdfs.server.datanode.DataNode.clienttrace: src: /127.0.0.1:50010, dest: /127.0.0.1:4711, bytes: 23039, op: HDFS_READ, cliID: DFSClient_NONMAPREDUCE_1748577741_29, offset: 0, srvID: DS-1975303897-10.0.135.137-50010-1356059433687, blockid: blk_1403468304100557392_1030, duration: 19896383
2012-12-22 13:51:35,500 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving block blk_6374126060499646994_1031 src: /127.0.0.1:4713 dest: /127.0.0.1:50010
2012-12-22 13:51:35,500 INFO org.apache.hadoop.hdfs.server.datanode.DataNode.clienttrace: src: /127.0.0.1:4713, dest: /127.0.0.1:50010, bytes: 120, op: HDFS_WRITE, cliID: DFSClient_NONMAPREDUCE_-927283432_1, offset: 0, srvID: DS-1975303897-10.0.135.137-50010-1356059433687, blockid: blk_6374126060499646994_1031, duration: 1077791
2012-12-22 13:51:35,500 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: PacketResponder 0 for block blk_6374126060499646994_1031 terminating
2012-12-22 13:51:35,671 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving block blk_2466631481449782651_1032 src: /127.0.0.1:4714 dest: /127.0.0.1:50010
2012-12-22 13:51:35,687 INFO org.apache.hadoop.hdfs.server.datanode.DataNode.clienttrace: src: /127.0.0.1:4714, dest: /127.0.0.1:50010, bytes: 106, op: HDFS_WRITE, cliID: DFSClient_NONMAPREDUCE_-927283432_1, offset: 0, srvID: DS-1975303897-10.0.135.137-50010-1356059433687, blockid: blk_2466631481449782651_1032, duration: 1608585
2012-12-22 13:51:35,687 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: PacketResponder 0 for block blk_2466631481449782651_1032 terminating
2012-12-22 13:51:35,718 INFO org.apache.hadoop.hdfs.server.datanode.DataNode.clienttrace: src: /127.0.0.1:50010, dest: /127.0.0.1:4715, bytes: 73, op: HDFS_READ, cliID: DFSClient_NONMAPREDUCE_1748577741_29, offset: 0, srvID: DS-1975303897-10.0.135.137-50010-1356059433687, blockid: blk_5867650396328906067_1029, duration: 552025
windows环境下跑
hadoop
自带
的
word
count
遇到的问题
hadoop
环境自己之前也接触过,搭建的是一个伪分布的环境,主从节点都在我自己的机子上,即127.0.0.1,当初记得步骤很多很麻烦的样子(可能自己用ubuntu还不够熟练),包括myeclipse、
hadoop
等的下载与安装,以及最后的
运行
hadoop
包
自带
的
word
count
例子
,当时只是在终端下
运行
的,没有把代码放在myeclipse中,也折腾半天,记得出现一个问题就是map过程能够达到10...
在
Hadoop
2.3上
运行
C++程序各种疑难杂症(
Hadoop
Pipes选择、错误集锦、
Hadoop
2.3编译等)
首记 感觉
Hadoop
是一个坑,打着大数据最佳解决方案的旗帜到处坑害良民。记得以前看过一篇文章,说1TB以下的数据就不要用
Hadoop
了,体现
不出
太大的优势,有时候反而会成为累赘。因此
Hadoop
的使用场所一般有两:一是有一定规模的公司,数据流一般是TB级别的,这样的公司其实不多;二是各大高校的实验室,作为研究使用。不幸的我也走上了这条路,仅为研究之用。而且我的使用需求还不是一般的在
Hadoop
centos安装
hadoop
超级详细没有之一
1、准备工作 不知道怎么回事图片显示不了:所以我把东西放在了我的资源里面 1.1 创建
hadoop
用户 如果你安装 CentOS 的时候不是用的 “
hadoop
” 用户,那么需要增加一个名为
hadoop
的用户。 首先点击左上角的 “应用程序” -> “系统工具” -> “终端”,首先在终端中输入su,按回车,输入 root 密码以 root 用户登录,接着执行命令创建新用户
hadoop
: su # 上述提到的以 root 用户登录 useradd -m
hadoop
-s /bin/b
Hadoop
的安装和使用
前言: 这个
Hadoop
的安装和使用操作起来很容易出错,反正各种的问题,所以在实验过程中需要细心、重复,有的时候是机器的问题,还有配置的问题。 下面我讲一下我遇到的坑! 第3章
Hadoop
的安装和使用 注:本教程全部统一采用
hadoop
用户名登录Linux系统,用户名:
hadoop
密码:
hadoop
3.1 安装
Hadoop
前的准备工作 本节介绍安装
Hadoop
之前的一些准备工作,包括更新APT、安装SSH和安装Java环境等。 3.1.1 更新 APT 为了确保
Hadoop
安装过程顺利进行,建议
Hadoop
安装教程_单机/伪分布式配置
原文:http://www.powerxing.com/install-
hadoop
/ 环境 本教程使用Ubuntu 14.04 64位作为系统环境(Ubuntu 12.04 也行,32位、64位均可),请自行安装系统。 本教程基于原生
Hadoop
2,在
Hadoop
2.6.x (stable)版本下验证通过,可适合任何
Hadoop
2.x.y 版本,例如
Hadoop
...
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章