社区
Hadoop生态社区
帖子详情
求助!使用java如何及时的将数据保存到hive中
刘媛媛1
2017-06-20 02:56:03
如题,前端不断有数据传输过来。我需要及时将数据保存到hive中。使用hive的insert速度太慢。如果直接将数据写到hive表中对应的hdfs文件,试过,有异常,现在还解决不了。还有一种是写到linux系统文件中,然后周期load。但这方法不是实时插入。问下高手们,还有别的方案吗?
...全文
825
3
打赏
收藏
求助!使用java如何及时的将数据保存到hive中
如题,前端不断有数据传输过来。我需要及时将数据保存到hive中。使用hive的insert速度太慢。如果直接将数据写到hive表中对应的hdfs文件,试过,有异常,现在还解决不了。还有一种是写到linux系统文件中,然后周期load。但这方法不是实时插入。问下高手们,还有别的方案吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
数据boy
2017-06-22
打赏
举报
回复
我们的处理方式是通过socket来接,然后给kafka,再用spark streaming写入到hbase里
刘媛媛1
2017-06-20
打赏
举报
回复
谢谢!你的解答!
LinkSe7en
2017-06-20
打赏
举报
回复
本身选型就有问题,hive是个数据仓库工具,而不是数据库(虽然长得很像)。你再怎么优化,也绕不过一些坑,以达到你“实时插入”的需求。 这边做实时分析是Spark SQL on ES。实时入数是Kafka + Strom + ES。日10T级别数据量
大
数据
之
Hive
详解
Hive
是基于Hadoop的一个
数据
仓库工具,可以将结构化的
数据
文件映射为一张表,并提供类SQL查询功能。是hadoop的一个
数据
仓库工具,可以将结构化的
数据
文件映射为一张表,并提供类SQL查询功能。本质是将HQL转化成...
springboot基于
hive
旅游
数据
的分析与应用
旅游
数据
的管理系统设计过程
中
采用
Java
开发语言,B/S结构,采取springboot框架,并以MySql为
数据
库进行开发。结合以上技术,对本系统的整体、
数据
库、功能模块、系统页面以及系统程序等设计进行了详细的研究与规划。...
毕业设计springboot基于
hive
旅游
数据
的分析与应用
旅游
数据
的管理系统设计过程
中
采用
Java
开发语言,B/S结构,采取springboot框架,并以MySql为
数据
库进行开发。结合以上技术,对本系统的整体、
数据
库、功能模块、系统页面以及系统程序等设计进行了详细的研究与规划。...
史上最全Hadoop面试题:尼恩大
数据
面试宝典专题1
一作:Mark, 资深大
数据
架构师、
Java
架构师,近20年
Java
、大
数据
架构和开发经验。资深架构导师,成功指导了多个
中
级
Java
、高级
Java
转型架构师岗位。二作: 尼恩,资深系统架构师、IT领域资深作家、著名博主。近20年...
PostGIS 笔记
PostGIS 是一种广泛
使用
的空间
数据
库,支持
使用
它存储和检索
数据
的第三方程序的数量也在增加。支持 PostGIS 的程序包括服务器和桌面系统上的开源软件和专有软件。
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章