求助!使用java如何及时的将数据保存到hive中

刘媛媛1 2017-06-20 02:56:03
如题,前端不断有数据传输过来。我需要及时将数据保存到hive中。使用hive的insert速度太慢。如果直接将数据写到hive表中对应的hdfs文件,试过,有异常,现在还解决不了。还有一种是写到linux系统文件中,然后周期load。但这方法不是实时插入。问下高手们,还有别的方案吗?
...全文
825 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
数据boy 2017-06-22
  • 打赏
  • 举报
回复
我们的处理方式是通过socket来接,然后给kafka,再用spark streaming写入到hbase里
刘媛媛1 2017-06-20
  • 打赏
  • 举报
回复
谢谢!你的解答!
LinkSe7en 2017-06-20
  • 打赏
  • 举报
回复
本身选型就有问题,hive是个数据仓库工具,而不是数据库(虽然长得很像)。你再怎么优化,也绕不过一些坑,以达到你“实时插入”的需求。 这边做实时分析是Spark SQL on ES。实时入数是Kafka + Strom + ES。日10T级别数据量

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧