社区
应用实例
帖子详情
求助 公司现在有一个需求,想用spark拉取sqlserver中的数据存到hbase中,这个需求能不能实现?
dwy130633
2017-07-27 09:45:38
公司现在有一个需求,想用spark拉取sqlserver中的数据存到hbase中,然后从hbase中进行查询,这个需求能不能实现?
如果可以实现,应该怎样做
求各路大神支招!!
...全文
388
2
打赏
收藏
求助 公司现在有一个需求,想用spark拉取sqlserver中的数据存到hbase中,这个需求能不能实现?
公司现在有一个需求,想用spark拉取sqlserver中的数据存到hbase中,然后从hbase中进行查询,这个需求能不能实现? 如果可以实现,应该怎样做 求各路大神支招!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
dwy130633
2017-07-28
打赏
举报
回复
老大不想用sqoop导数据。嫌sqoop太慢。想用spark直接哦才能够SQL server数据库中拿数据,然后存到hbase中
OwenZeng_DBA
2017-07-27
打赏
举报
回复
能实现。怎么做的话可以先做了再看,第一先从sql server抽取数据,然后写入到hbase.不过我不明白为什么不直接sql server到hbase。用sqoop
基于Go语言大型企业级电商秒杀系统实战教程
课程背景: 如果赶上
一个
语言火的时候,您想不赚钱都难,android ,苹果,大
数据
,python我们没有赶上第一批,
现在
go语言您还想错过吗?
现在
go语言已经在大
公司
开始使用,在做服务这块慢慢已经走上热点,
现在
go语言...
Spark
拉取
Kafka的流
数据
,转插入
HBase
中
Spark
拉取
Kafka的流
数据
,转插入
HBase
中
pom.xml文件样例 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mav...
Spark
Streaming读取Kafka对接Flume抽取到的
数据
库
数据
并保
存到
HBase
中
,Hive映射
HBase
进行查询
最近
公司
在做实时流处理方面的工作,具体
需求
是:将关系型
数据
库(MySQL、Oracle)
中
的相关
数据
表实时的导入到
HBase
中
,并使用Hive映射
HBase
进行
数据
查询。
公司
使用的是CDH6.3.1搭建的大
数据
集群~ 一、配置Flume,...
Java
实现
Spark
整合Kafka和
Hbase
实战案例
Java
实现
Spark
Core整合Kafka和
Hbase
实战案例 Kafka作为当下最主流的具有消峰和缓存功能的分布式消息队列,被广泛应用于大
数据
领域,而目前比较主流的流计算消费方式主要包括Strom,
Spark
Streaming,以及Flink。 下面...
hadoop、
hbase
、hive、
spark
分布式系统架构原理
机器学习、
数据
挖掘等各种大
数据
处理都离不开各种开源分布式系统,hadoop用户分布式存储和map-reduce计算,
spark
用于分布式机器学习,hive是分布式
数据
库,
hbase
是分布式kv系统,看似互不相关的他们却都是基于相同的...
应用实例
27,579
社区成员
68,558
社区内容
发帖
与我相关
我的任务
应用实例
MS-SQL Server 应用实例
复制链接
扫一扫
分享
社区描述
MS-SQL Server 应用实例
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章