spark streaming 项目中能不能连接多个kafka集群发送消息？

Container123 2020-03-23 08:34:31

spark streaming 项目中能不能连接多个kafka集群发送消息？

...全文

205 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

Container123 2020-03-24

打赏
举报

回复

嗯嗯，多谢多谢

LinkSe7en 2020-03-24

打赏
举报

回复

发送当然可以，你可以用spark自带的writer API，也可以直接在foreach（Partition）里头手动调用kafka producer api去发布消息

因此，要优化Kafka的性能，应该尽量控制消息的大小，避免过大的消息导致网络传输和磁盘存储的压力。...总之，动态扩容和缩容是Kafka集群管理的重要部分，可以根据业务需求和集群的负载情况，灵活调整集群的规模和容量。

1. SparkStreaming简介 SparkStreaming是流式处理框架，是Spark API（RDD）的扩展，支持可扩展、高吞吐量、容错的准实时数据流处理实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，在...

第114课:Spark Streaming电商广告点击综合案例实战(测试版本) /* 王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道68917580*/ 综合案例的实战我们分步进行： 1.Mysql 中建立表 ...

SparkSQL自定义函数的使用、SparkStreaming的架构及计算流程、DStream转换操作、SparkStreaming对接kafka和offset的处理

场景是sparkstreaming消费kafka数据在这里sparkstream和kafka都是单节点的集群模式。同时起两个不同的groupid的应用，发现会发生后起来的应用消费不到数据。按理来讲不同的groupid属于不同的消费组，不会相互...

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章