1,261
社区成员
发帖
与我相关
我的任务
分享我用的是python！在sparkstreaming中，使用kafka的directstream，如何自己实现将offset更新到zookeeper？
在sparkstreaming中，使用kafka的directstream接口获取数据时，不会将offset更新到zookeeper，这样会导致job重启后只能从最新的offset读取，从而造成数据丢失，为了避免这个情况，官网提示说可以自己实现将offset手动更新到zookeeper，我使用的是python，但是spark的python接口中并无java和scala中的kafkacluster这个类，不知道自己手动该如何实现，网上有很多scala和java实现这个操作的代码，求高手给一个python版本的，在线等，跪求！！！！小弟编程能力有限，跪求高手耐心解答，抱拳。
...全文
请发表友善的回复…
发表回复
jinzitian 2016-11-01
- 打赏
- 举报
自己顶一下，求大神
