社区
Spark
帖子详情
kafka的数据如何与sparksql中的带有计算公式的字段整合
linke1183982890
2018-02-07 04:28:24
这个是我通过spark-sql加载到的mysql表得到的数据,最后一个字段是由带‘+’的字符串拼接而成,
这个是kafka采集到的数据,数据都是由“:”分隔的,我需要Txxx和Bxxx这俩字段,与他们这一条数据最后面所对应的值,
请问各位大哥大姐我应该如何把kafka中切分出来的数据Txxx.Bxxx所对应的每条数据的值,通过匹配带入到sparksql的公式中去,
得到最后的相加结果啊,跪求,做出来,大红包,QQ1183982890
...全文
419
回复
打赏
收藏
kafka的数据如何与sparksql中的带有计算公式的字段整合
这个是我通过spark-sql加载到的mysql表得到的数据,最后一个字段是由带‘+’的字符串拼接而成, 这个是kafka采集到的数据,数据都是由“:”分隔的,我需要Txxx和Bxxx这俩字段,与他们这一条数据最后面所对应的值, 请问各位大哥大姐我应该如何把kafka中切分出来的数据Txxx.Bxxx所对应的每条数据的值,通过匹配带入到sparksql的公式中去, 得到最后的相加结果啊,跪求,做出来,大红包,QQ1183982890
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
十万字图文详解my
sql
、redis、
kafka
、elasticsearch(ES)多源异构不同种类
数据
库集成、
数据
共享、
数据
同步、不同
中
间件技术实现与方案,如何构建
数据
仓库、
数据
湖、数仓一体化?
数据
库大
数据
量、高并发、高可用解决方案,十万字图文详解my
sql
、redis、
kafka
、elasticsearch(ES)多源异构不同种类
数据
库集成、
数据
共享、
数据
同步、不同
中
间件技术实现与方案,如何构建
数据
仓库、
数据
湖、数仓...
大
数据
Hadoop、Hive、
Kafka
、Hbase、
Spark
等框架面经
大
数据
Hadoop、Hive、
Kafka
、Hbase、
Spark
等框架面经
Spark
面试题及其答案
1.
Spark
master使用zookeeper进行HA的,有哪些元
数据
保存在Zookeeper? 答:
spark
通过这个参数
spark
.deploy.zookeeper.dir指定master元
数据
在zookeeper
中
保存的位置,包括Worker,Driver和Application以及Executors...
大
数据
挖掘与分析平台整体解决方案
大
数据
挖掘与分析平台 整体解决方案 ...
数据
杂谈
最近有一本很火的书叫《精益
数据
分析》,其核心的一个观点就是:需要用
数据
驱动产品和公司的发展,而不能靠直觉或者拍脑袋。可见,
数据
是多么的重要。在一个产品的生命周期
中
,会产生很多
数据
:用户信息、用户行为...
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章