spark streaming能不能每分钟查询数据库转化成rdd和实时对比

Container123 2020-03-09 11:27:37
我有个需求实时数据过来后,可能存在主体不全的情况。
比如第一批次出现了A,值为4.第二批次来的实时数据没有A这个主体了。我需要补充A的值为0,然后给后面推送。
现在我采取的方法是每批次的实时数据为一个rdd,然后driver端再将从数据库查询到的数据转化为rdd,二者进行fullOuterJoin,然后将实时有数据没有的插入到数据库。数据库有实时没有的给实时数据补充。
想请教一下这样的方法可以吗?会不会造成driver端压力过大,程序挂断频繁呢?
或者还有什么更好的方法?
...全文
109 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧