社区
Hadoop生态社区
帖子详情
[求助]Hive中RCFile格式数据导入
yyt_yang
2013-06-05 03:52:20
1、在hive建表是指定RCFile格式的表,不能直接load数据,只能通过textfile表进行insert,除此之外还有其他方式吗?
2、如果导入的文件格式为Txt类型,在外部先把txt转换成RCFile格式,可以直接导入吗,如果可以,希望能详细说一下,大家对于RCFile的优势都有所肯定,希望大家对于数据的导入也说说自己的想法。
...全文
2679
4
打赏
收藏
[求助]Hive中RCFile格式数据导入
1、在hive建表是指定RCFile格式的表,不能直接load数据,只能通过textfile表进行insert,除此之外还有其他方式吗? 2、如果导入的文件格式为Txt类型,在外部先把txt转换成RCFile格式,可以直接导入吗,如果可以,希望能详细说一下,大家对于RCFile的优势都有所肯定,希望大家对于数据的导入也说说自己的想法。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
jpjiang0102
2014-03-11
打赏
举报
回复
我也遇到了这个问题,看来没有什么高效的方法了,只能间接导入
yyt_yang
2013-06-06
打赏
举报
回复
看来大家都是这么干的啊,难道就没有考虑过导入的效率问题吗?
yyt_yang
2013-06-05
打赏
举报
回复
版主说的方式我知道,只是想看看有没有其他的办法,毕竟这种方式在数据导入上就需要耗费很长时间。
撸大湿
2013-06-05
打赏
举报
回复
1、先把TXT导Hive表tbtxt ,再执行
INSERT OVERWRITE table tb_RC SELECT * from tbtxt ;
2、据我所知,RCFile不能直接导入RC格式的Hive表
Hive
在大
数据
分析和大
数据
仓库
中
应用实战
随着大
数据
技术的不断发展壮大,
Hive
不再是大
数据
技术生态圈
中
一个普通的工具,而是在大
数据
分析和大
数据
仓库
中
占据着几乎不可替代的重要作用,大
数据
分析
中
Hive
和Hbase、
Hive
和Spark SQL、
Hive
和Impala的结合使用愈加紧密,大
数据
仓库
中
Hive
在
数据
仓库建模模块的作用暂时无可替代。所以,深入学好
Hive
是入门大
数据
分析、大
数据
仓库最好的选择。
Hive
中
rc
file
格式
首先声明,此文是属于纯粹收藏文,感觉讲的很不错。 本文介绍了Facebook公司
数据
分析系统
中
的
RC
File
存储结构,该结构集行存储和列存储的优点于一身,在MapReduce环境下的大规模
数据
分析
中
扮演重要角色。 Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了
数据
仓库
Hive
。
Hive
存储...
创建
HIVE
的
rc
file
数据
压缩表
创建
HIVE
的
rc
file
数据
压缩表
hive
中
o
rc
格式
表的
数据
导入
Hive
系列文章
Hive
表的基本操作
Hive
中
的集合
数据
类型
Hive
动态分区详解
hive
中
o
rc
格式
表的
数据
导入
Java通过jdbc连接
hive
通过
Hive
Server2访问
Hive
SpringBoot连接
Hive
实现自助取数
hive
关联hbase表
Hive
udf 使用方法
Hive
基于UDF进行文本分词
Hive
窗口函数row number的用法
数据
仓库之拉链表
hive
创建o
rc
格式
表不能像text
file
格式
一样直接load
数据
到表
中
,需要创建临时text
file
表,然后通过i
Hive
数据
导入
方案—使用O
RC
格式
存储
hive
数据
目的:将上网日志
导入
到
hive
中
,要求速度快,压缩高,查询快,表易维护。推荐使用O
RC
格式
的表存储
数据
思路:因为在
hive
指定
RC
File
格式
的表,不能直接load
数据
,只能通过text
file
表进行insert转换。考虑先建立txt
File
格式
内部临时表tmp_testp,使用hdfs fs -put命令向tmp_testp表路径拷贝
数据
(不是load),再建立O
RC
格式
外部表http_o
rc
,使用insert命令把tmp_test表
导入
http_o
rc
中
,最后删除...
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章