hive load insert patition Rcfile

露落梨花 2018-10-12 11:16:47
1、在hive建表是指定RCFile格式的表,不能直接load数据,只能通过textfile表进行insert,除此之外还有其他方式吗?
2、如果用insert加载数据,数据量最多是多少?也就是insert into table_tmp select * from table;最多一次可以插入多少,50G数据?1T?
3、用load加载数据,动态分区可以吗?
2、如果导入的文件格式为Txt类型,在外部先把txt转换成RCFile格式,可以直接导入吗,如果可以,希望能详细说一下,大家对于RCFile的优势都有所肯定,希望大家对于数据的导入也说说自己的想法。
...全文
159 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
露落梨花 2019-01-07
  • 打赏
  • 举报
回复
自己的问题还是自己回答吧 用spark可以直接做到从kafka读取数据到hive压缩的分区表里面
潇山远 2018-11-09
  • 打赏
  • 举报
回复
如果数据文件是txt类型,可以考虑先建一个hive表,指定location到这个txt文件,然后insert到RCFile格式的表也是可以的。
露落梨花 2018-10-12
  • 打赏
  • 举报
回复
问题数有点多,简要说一下。就是想快速导入500G数据到hive分区(动态分区)并且压缩(RCfile)的表里面。
问题特点:数据量大;服务器要求都非常高;希望效率高

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧