hadoop的组件能否直接访问hdfs上的.gz文件?

xiaolife 2013-04-14 11:34:38
Hive、Hbase 是否能够访问 hdfs上面的压缩文件,并进行相关的数据筛选查询?

比如:
通过 copyFromLocal 从本地磁盘将.gz 文件拷到hdfs当中。
最终为:
/20130101/0000001.gz
/20130101/0000002.gz
/20130101/0000003.gz
....
/20130101/0001001.gz
....
/20130411/0000001.gz
/20130411/0000002.gz
/20130411/0000003.gz
....
/20130411/0032131.gz


类似这样的存储,能否通过Hive、Hbase直接访问,而不对文件本身做其他的比如标准化导入(类似oracle等数据库的数据导入)?
...全文
451 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
yfk 2013-04-24
  • 打赏
  • 举报
回复
hive中建一张外部表指向对应目录,就可以直接使用了~
我想飞走 2013-04-14
  • 打赏
  • 举报
回复
好像可以,我写代码的时候可以直接访问。
撸大湿 2013-04-14
  • 打赏
  • 举报
回复
这个还真没试过,LZ要是找到方法,分享一下

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧