小弟刚学mapreduce有点问题请教……关于写hfile

dunerunner 2014-03-26 11:09:22

如题，为什么网上找到的例子都是从文件读取数据写hfile，为什么不是从hbase读数据写到文件里呢？
好多东西我还没搞懂……希望高人指点迷津，谢谢

...全文

138 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

caibinbupt的Hadoop源码分析完整版，包括 HDFS 和 MapReduce。 HDFS: 41章 MapReduce: 14章

使用MapReduce生成HFile文件是导入大量数据到HBase的最快方法总共分为两部分，生成HFile和导入到HBase 一、生成HFile 1.主程序ConvertToHFiles.java public class ConvertToHFiles extends Configured implements Tool { private static final L...

使用mapreduce读取hfile 这里主要说是hbase提供的一个HFileScanner的使用。以下代码使用HFileScanner写一个inputformat

一、这种方式有很多的优点： 1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源，一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。 2. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接生成这种hdfs内存储的数据格式文件，然后上传至合适位置，即完成巨量数据快速入

hive本身只是在mr上封装，应用场景自然更局限，不可能满足所有需求有些场景是不能用hive来实现，就需要mr来实现。结构复杂的日志文件，首先要经过ETL处理（使用mapreduce），得到的数据再有hive处理比较合适。直接让hive处理结构复杂的数据估计很难处理。业务比较复杂的，还是必须写mapreduce才能实现。 Hive目前底层还是用MapReduce，以后可能会用Spar...

Hadoop生态社区

20,809

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章