社区
Java
帖子详情
Hadoop 任务之间的数据传递
xiaoerlyl
2013-04-25 02:18:19
我需要基于Hadoop编程完成两个任务,两个任务之间需要传递数据。我想知道
除了可以让job1 把数据写到文件系统里面,job2去读取之外,还有没有别的实现方法
? 当数据量不是很大的时候写到文件系统的效率很低。
...全文
76
回复
打赏
收藏
Hadoop 任务之间的数据传递
我需要基于Hadoop编程完成两个任务,两个任务之间需要传递数据。我想知道除了可以让job1 把数据写到文件系统里面,job2去读取之外,还有没有别的实现方法? 当数据量不是很大的时候写到文件系统的效率很低。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Hadoop
云计算2.0笔记第一课
Hadoop
介绍
Hadoop
云计算2.0笔记第一课
Hadoop
介绍
Hadoop
Streaming 官方中文文档
Hadoop
Streaming 官方中文文档
Hadoop
运行原理分析pdf
Hadoop
运行原理分析pdf
完整版大
数据
云计算课程
Hadoop
数据
分析平台系列课程
Hadoop
05
Hadoop
API开发 共32页.pptx
能独立熟练完成
Hadoop
的安装及熟悉
Hadoop
的配置与管理 熟练地在
Hadoop
和操作系统以及关系型
数据
库之前
传递
数据
能独立制定
数据
集成方案 熟练地向
Hadoop
提交作业以及查询作业运行情况 了解Map-Reduce原理,能书写Map-Reduce程序 了解HDFS原理,能熟练地对HDFS中的文件进行管理 能独立完成pig的安装并且利用pig做简单的
数据
分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
hadoop
应用实例
Computing PageRank Using
Hadoop
Java
51,409
社区成员
86,081
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章