社区
Java EE
帖子详情
kafka 0.9以后的版本如何获取offset啊
yozora18
2018-08-23 12:05:24
如题 网上基本都是0.8的用法 0.9以后的都存在topic 不在zk里了 如何获取呢
...全文
160
回复
打赏
收藏
kafka 0.9以后的版本如何获取offset啊
如题 网上基本都是0.8的用法 0.9以后的都存在topic 不在zk里了 如何获取呢
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Kafka
Offset
Monitor监控
1、js、css已改为静态资源,上传至服务器即可使用 2、启动脚本说明: zk :zookeeper主机地址,如果有多个,用逗号隔开 port :应用程序端口 refresh :应用程序在数据库中刷新和存储点的频率 retain :在db中保留多长时间 dbName :保存的数据库文件名,默认为
offset
app
offset
Storage:
kafka
0.8
版本
以前,
offset
默认存储在zookeeper中(基于Zookeeper),
kafka
0.9
版本
以后
,
offset
默认存储在内部的topic中(基于
Kafka
内部的topic),Storm
Kafka
Spout(默认情况下基于Zookeeper)
Kafka
Monitor 0.3
版本
支持
kafka
new api(
0.9
+) sbt jar包
kafka
Monitor 监控
kafka
消费
offset
,支持
kafka
new api 消费,
offset
存储于
kafka
内置topic 中。已手动SBT打包,直接使用。使用方法详见官网
通俗易懂的
Kafka
升级版教程(含配套资料)
Kafka
是一个开源流处理平台,由Scala和Java编写。
Kafka
是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。在本课程中,你将学习到,
Kafka
架构原理、安装配置使用、详细的
Kafka
写入数据和处理数据以及写出数据的流程、新旧
版本
对比及运用、分区副本机制的详解、内部存储策略、高阶API直接消费数据、低阶API自行管理
Offset
消费数据、
Kafka
拦截器以及
Kafka
Stream流式处理。更新:课件升级、
Kafka
幂等性、
Kafka
事务、监控器Eagle的使用、
Kafka
对接Flume的使用以及企业真实面试题详解
kafka
消费旧高级消费,新高级消费代码
kafak
0.9
API 旧高级消费 新高级消费,指定
offset
消费,并且持续监控
offset
streaming-
offset
-to-zk:一个手动管理spark streaming集成
kafka
时的偏移量到zookeeper中的小项目
streaming-
offset
-to-zk 项目背景 公司有一个比较核心的实时业务用的是spark streaming2.1.0+
kafka
0.9
.0.0的流式技术来开发的,存储用的hbase+elasticsearch+redis,这中间趟过很多坑,解决了一些bug和问题,在这里我把它做成了一个骨架项目并开源出来,希望后来的朋友可以借阅和参考,尽量少走些弯路,当然如果中间遇到或者发现什么问题都可以给我提issue。 下面是使用过程中记录的一些心得和博客,感兴趣的朋友可以了解下: (1) (2) (3) (4) (5) (6) (7) (8) 项目简介 该项目提供了一个在使用spark streaming2.1+
kafka
0.9
.0.0的
版本
集成时,手动存储偏移量到zookeeper中,因为自带的checkpoint弊端太多,不利于 项目升级发布,并修复了一些遇到的bug,例子中的代码已
Java EE
67,513
社区成员
225,878
社区内容
发帖
与我相关
我的任务
Java EE
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
复制链接
扫一扫
分享
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章