kafka的数据如何与sparksql中的带有计算公式的字段整合

linke1183982890 2018-02-07 04:28:24

这个是我通过spark-sql加载到的mysql表得到的数据,最后一个字段是由带‘+’的字符串拼接而成,

这个是kafka采集到的数据,数据都是由“:”分隔的,我需要Txxx和Bxxx这俩字段,与他们这一条数据最后面所对应的值,
请问各位大哥大姐我应该如何把kafka中切分出来的数据Txxx.Bxxx所对应的每条数据的值,通过匹配带入到sparksql的公式中去,
得到最后的相加结果啊,跪求,做出来,大红包,QQ1183982890
...全文
419 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧