storm-kafka 的spoutconfig配置问题

JLiGa 2014-10-23 03:12:58

使用官网的Storm-kafka库，在配置的时候是这么设置spoutconfig的。

SpoutConfig spoutconfig = new SpoutConfig(host, "test", "/test", UUID.randomUUID().toString());

运行的时候提示这样的错误：

18454 [Thread-21-spout] INFO storm.kafka.PartitionManager - Read partition information from: /test/a55edc0d-ef0f-405a-be1b-64eeea62005a/partition_0 --> null
21106 [Thread-21-spout] ERROR backtype.storm.util - Async loop died!
java.lang.RuntimeException: java.nio.channels.UnresolvedAddressException
at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:103) ~[storm-kafka-0.9.2-incubating.jar:0.9.2-incubating]
at storm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java:69) ~[storm-kafka-0.9.2-incubating.jar:0.9.2-incubating]
at storm.kafka.KafkaSpout.nextTuple(KafkaSpout.java:135) ~[storm-kafka-0.9.2-incubating.jar:0.9.2-incubating]
at backtype.storm.daemon.executor$fn__5573$fn__5588$fn__5617.invoke(executor.clj:563) ~[storm-core-0.9.2-incubating.jar:0.9.2-incubating]
at backtype.storm.util$async_loop$fn__457.invoke(util.clj:431) ~[storm-core-0.9.2-incubating.jar:0.9.2-incubating]
at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na]
at java.lang.Thread.run(Thread.java:619) [na:1.6.0_16]
Caused by: java.nio.channels.UnresolvedAddressException: null
at sun.nio.ch.Net.checkAddress(Net.java:30) ~[na:1.6.0_16]
at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:487) ~[na:1.6.0_16]
at kafka.network.BlockingChannel.connect(BlockingChannel.scala:57) ~[kafka_2.9.2-0.8.1.1.jar:na]
at kafka.consumer.SimpleConsumer.connect(SimpleConsumer.scala:44) ~[kafka_2.9.2-0.8.1.1.jar:na]
at kafka.consumer.SimpleConsumer.getOrMakeConnection(SimpleConsumer.scala:142) ~[kafka_2.9.2-0.8.1.1.jar:na]
at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:69) ~[kafka_2.9.2-0.8.1.1.jar:na]
at kafka.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:124) ~[kafka_2.9.2-0.8.1.1.jar:na]
at kafka.javaapi.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:79) ~[kafka_2.9.2-0.8.1.1.jar:na]
at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:77) ~[storm-kafka-0.9.2-incubating.jar:0.9.2-incubating]
at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:67) ~[storm-kafka-0.9.2-incubating.jar:0.9.2-incubating]
at storm.kafka.PartitionManager.<init>(PartitionManager.java:82) ~[storm-kafka-0.9.2-incubating.jar:0.9.2-incubating]
at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:98) ~[storm-kafka-0.9.2-incubating.jar:0.9.2-incubating]
... 6 common frames omitted
21107 [Thread-21-spout] ERROR backtype

对SpoutConfig中的zkroot不是很懂，是说要在zookeeper的data_dir下建立一个一样的目录么？还是别的什么办法？不知道哪里有相关的文档啊？

...全文

10966 11 打赏收藏转发到动态举报

写回复

用AI写文章

11 条回复

切换为时间正序

请发表友善的回复…

发表回复

很现实 2021-06-25

打赏
举报

解决了吗？想问下如何解决的

岁月的拓荒者 2017-03-31

打赏
举报

The Zkroot will be used as root to store your consumer's offset.

GXU-数据与网络实验室 2017-01-04

打赏
举报

http://www.bkjia.com/yjs/946434.html 我也遇到了同样的问题，希望这篇文章能帮到你 zkClient 查看你的目录树一般为zkroot的属性是/broker

hadooper-enjoyment 2016-10-25

打赏
举报

对SpoutConfig中的zkroot不是很懂，是说要在zookeeper的data_dir下建立一个一样的目录么？这个问题官方回答是对的，不需要自己手动创建的，会自动创建的。你这里地址不能解析，估计是因为BrokerHosts host = new ZkHosts("192.168.2.164:2181"); 应该改成使用主机名，不是直接使用ip地址，如：hadoop1.node:2181，然后再hosts文件中加入ip 和主机名对。