社区
Java
帖子详情
kafka获取指定数据
HAIbing0417
2019-04-03 04:44:43
已知kafka的topic和topic下的partition,现在需要使用请求,每次请求只从指定的partition中获取第一条数据返回,这种请求需要怎么做,求指导
...全文
570
1
打赏
收藏
kafka获取指定数据
已知kafka的topic和topic下的partition,现在需要使用请求,每次请求只从指定的partition中获取第一条数据返回,这种请求需要怎么做,求指导
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
HAIbing0417
2019-04-03
打赏
举报
回复
我自己在看API文档时想到一个方法,但是不能确定这种方法的实用性,代码基本上参照https://www.jianshu.com/p/6e89db47c116这篇帖子做的修改,我的controller中的代码如下: Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "group-1"); props.put("auto.offset.reset", "earliest"); //该属性用于控制单次调用 call() 方法能够返回的记录数量,可以帮你控制在轮询里需要处理的数据量 props.put("max.poll.records", 1); props.put("enable.auto.commit", "true"); props.put("auto.commit.interval.ms", "1000"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Arrays.asList("testDemo")); final Thread mainThread = Thread.currentThread(); Runtime.getRuntime().addShutdownHook(new Thread() { public void run() { System.out.println("Starting exit..."); consumer.wakeup(); try { // 主线程继续执行,以便可以关闭consumer,提交偏移量 mainThread.join(); } catch (InterruptedException e) { e.printStackTrace(); } } }); try { ConsumerRecords<String, String> records = consumer.poll(1000); System.out.println("count : " + records.count()); for (ConsumerRecord<String, String> record : records) { System.out.println("topic = " + record.topic() + ", partition = " + record.partition() + ", offset = " + record.offset() + " , value:" + record.value()); } consumer.commitAsync(); } catch (WakeupException e) { // 不处理异常 } finally { consumer.commitSync(); consumer.close(); System.out.println("Closed consumer and we are done"); } 这么写目前自己测试可以每次发送请求获取一条partition中的消息,但是不能确定是否有其他问题,求各位高手指点。
Kafka
系列之:读取
Kafka
Topic中的
数据
,根据
获取
的
数据
指定
Kafka
数据
的stamp、key、value,再把
数据
写入到其他
Kafka
Topic中
Kafka
系列之:读取
Kafka
Topic中的
数据
,根据
获取
的
数据
指定
Kafka
数据
的stamp、key、value,再把
数据
写入到其他
Kafka
Topic中一、明确需求二、创建
Kafka
消费者三、消费者订阅Topic,并修改消费的偏移量四、根据想要...
kafka
消费
指定
分区
数据
1.1 配置bootstrap.server 参数:hadoop102:9092--------
指定
kafka
集群的地址,可以写多个,防止这个节点宕机无法运行 1.2 配置
kafka
接受的
数据
的k-v值的序列化参数 props.put("key.deserializer", "org....
Kafka
简介、从
kafka
中动态
获取
数据
(
指定
获取
条数)、动态设置偏移量、优化
kafka
调用时间
Kafka
是一种消息队列,主要用来处理大量
数据
状态下的消息队列,一般用来做日志的处理。既然是消息队列,那么
Kafka
也就拥有消息队列的相应的特性了。
获取
Kafka
topic
指定
时间段的
数据
需求:给定topic,
获取
某个时间段某些过滤条件下的
数据
。 思路:1)
获取
分区和offset,通过命令查询,类似
kafka
-console-consumer --bootstrap-server 127.0.0.1:9092 --topic test_topic --partition 1 --offset ...
Kafka
根据
指定
时间消费
数据
在
kafka
的实际应用过程中,由于
数据
处理问题,需要对
kafka
中的
数据
进行重新消费。重新消费
数据
一般都是使用一个新的groupId,但默认的配置是earliest(当各分区下有已提交的offset时,从提交的offset开始消费;无提交...
Java
51,397
社区成员
85,847
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章