社区
Power Linux
帖子详情
目前spark streaming稳定性能满足7*24生产环境吗?
实时传输与架构论坛
2016-05-26 02:36:56
加精
目前spark streaming稳定性能满足7*24生产环境吗?性能怎么样啊/??
...全文
2809
9
打赏
收藏
目前spark streaming稳定性能满足7*24生产环境吗?
目前spark streaming稳定性能满足7*24生产环境吗?性能怎么样啊/??
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
9 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
sun958569312
2016-06-20
打赏
举报
回复
不会哦,学习中
nettman
2016-06-17
打赏
举报
回复
zhaojia268115
2016-06-17
打赏
举报
回复
首先你问的问题是不正确的,7*24小时的高可用不可能通过一款软件实现,任何一款都不行,所有的架构,软件都是组合,优化才能完成这个艰巨的任务 回到本质,spark streaming的性能测试要比storm快,但是稳定性要差一些,你可以通过监控程序,备份机器,微服务等技术解决这个问题
cattpon
2016-06-16
打赏
举报
回复
用来干嘛的?
line_us
2016-06-15
打赏
举报
回复
路过看看详情。
JolyI
2016-06-15
打赏
举报
回复
同问。。。。。。。
chyanch
2016-05-27
打赏
举报
回复
在实测案例中,Power linux上可以稳定运行Spark Streaming,性能和应用/环境配置相关,同等条件下,Power linux比x86会获得更好的性能表现。
Kafka集成
Spark
Streaming
Spark
Streaming
+ Kafka集成指南 Kafka项目在版本0.8和0.10之间引入了一个新的消费者API,因此有两个独立的相应
Spark
Streaming
包可用。请选择正确的包,请注意,0.8集成与后来的0.9和0.10代理兼容,但0.10集成与早期的代理不兼容。 注意:从
Spark
2.3.0开始,不推荐使用Kafka 0.8支持。
Spark
Streaming
从Kafka接收数据,转换为
spark
streaming
中的数据结构Dstream。数据接收方式有两种 :1 使用.
Spark
Streaming
调优实践
在使用
Spark
和
Spark
Streaming
时,当我们将应用部署在集群上时,可能会碰到运行慢、占用过多资源、不稳定等问题,这时需要做一些优化才能达到最好的性能。有时候一个简单的优化可以起到化腐朽为神奇的作用,使得程序能够更加有效率,也更加节省资源。本文我们就来介绍一些能够提高应用性能的参数和配置。 另外需要指出的是,优化本身是一个具体性很强的事情,不同的应用及落地场景会有不同的优化方...
Spark
Streaming
基本概念
Spark
Streaming
基本概念
Spark
Streaming
+Kafka
spark
写入 kafka
目录 前言
Spark
streaming
接收Kafka数据 基于Receiver的方式 直接读取方式
Spark
向kafka中写入数据
Spark
streaming
+Kafka应用
Spark
streaming
+Kafka调优 合理的批处理时间(batchDuration) 合理的Kafka拉取量(maxRatePerPartition重要) 缓存反复使用的Ds...
spark
streaming
性能分析经验
性能分析的概览: 1,队列是否积累。 2,executor是否倾斜。 3,task数据是否倾斜。 4,gc是否严重。 目录 前言
Spark
streaming
接收Kafka数据 基于Receiver的方式 直接读取方式
Spark
向kafka中写入数据
Spark
streaming
+Kafka应用
Spark
streaming
+Kafka调优 合理的批处...
Power Linux
742
社区成员
901
社区内容
发帖
与我相关
我的任务
Power Linux
该论坛主要探讨Linux系统在IBM Power平台的安装、部署、应用开发等话题,并为网友们提供自由交流的平台。
复制链接
扫一扫
分享
社区描述
该论坛主要探讨Linux系统在IBM Power平台的安装、部署、应用开发等话题,并为网友们提供自由交流的平台。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章