Storm 远程DRCP 调用失败

说好不能打脸
Java领域优质创作者
博客专家认证
2014-02-17 03:07:45

LocalCluster cluster = new LocalCluster();
cluster.submitTopology("demo", conf, topologyBuilder.createRemoteTopology());

但是每次服务器执行到public class ReturnResults extends BaseRichBolt中的第60行
client.result(id, result);
服务器就会报错java.lang.RuntimeException: java.lang.NullPointerException

跟踪storm的源码发现client生成为该类第46行:
if(local) {
client = (DistributedRPCInvocations.Iface) ServiceRegistry.getService(host);
}

==================我估计storm的配置信息的问题,配置信息如下:
storm.zookeeper.servers:
- "localhost"
drpc.servers:
- "172.16.4.234"
==================其他都是采用的默认配置,zookeeper、storm nimbus、supervisor以及drcp服务都是能够正常启动的。



===============哪位大神能帮我解决一下(我没有找到符合的版块,只能放在类似的版块中了)。


...全文
320 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
说好不能打脸 2014-02-18
  • 打赏
  • 举报
回复
现在做storm预研的环境就只有一台机器,所以zk配置的是单机。公司的hadoop1的环境有3个节点,zk也是3个。这里我贴出来的配置信息时针对前一个的。 那谢谢版主了,帮小弟我耐心解决问题。
撸大湿 2014-02-18
  • 打赏
  • 举报
回复
我去你新帖回复咯~~~
撸大湿 2014-02-17
  • 打赏
  • 举报
回复
OK,我大致明白你的意思了
等明后天我进公司Storm环境测试一下

如果确认是配置问题,我把我们的开发测试环境贴给你,LZ可以参考一下
如果确认是代码问题,我写个例子给你

--------------------**********----------------------

zk配置的是localhost?你的集群是单机的吗?
zk改成host或者ip地址试一下
说好不能打脸 2014-02-17
  • 打赏
  • 举报
回复
还有一个奇怪的现象,就是不管是drcp方式还是非drcp的提交的Topology,我在监控界面上,都看不到Topology summary中有这个Topology的概要信息,,,,不知道是什么原因。
说好不能打脸 2014-02-17
  • 打赏
  • 举报
回复
没想到版主亲自回复我,荣幸啊。 我搭建的是独立的twitter storm。非drcp的情况下,整个topology都能跑通,所有bolt都可以ack。 就是使用LinearDRPCTopologyBuilder提交drcp topology的时候,在最后一步ReturnResults类中的第60行要报错。 if(local) { client = (DistributedRPCInvocations.Iface) ServiceRegistry.getService(host); } 从官方资料上看LinearDRPCTopologyBuilder已经自动包含了PrepareRequest、JoinResult、ReturnResults三个Blot,不需要自己加入了。而报错的这一行 client = (DistributedRPCInvocations.Iface) ServiceRegistry.getService(host); 那个ServiceRegistry类的字面含义看,应该是没有取到什么服务配置。 // this class should be combined with RegisteredGlobalState public class ServiceRegistry { private static HashMap<String, Object> _services = new HashMap<String, Object>(); private static final Object _lock = new Object(); public static String registerService(Object service) { synchronized(_lock) { String id = UUID.randomUUID().toString(); _services.put(id, service); return id; } } public static Object getService(String id) { synchronized(_lock) { return _services.get(id); } } public static void unregisterService(String id) { synchronized(_lock) { _services.remove(id); } } } 所以我才推测 1:不是我写的代码报错,应为已经到了最后一个系统带的Blot:ReturnResults 2、可能是某个配置,或者是创建和提交topology的设置问题。 我把创建DRPCTopology的代码也贴给版主: public class TestMainBuild implements Serializable { /** * */ private static final long serialVersionUID = 3974707778386408780L; public static void main(String[] args) { new TestMainBuild().doTopology(); } public TestMainBuild() { } /** * 开始进行 */ public void doTopology() { System.out.println("stor——chat——mdemo开始---------------------------"); Config conf = new Config(); conf.setDebug(false); LocalCluster cluster = new LocalCluster(); // 提交处理 try { cluster.submitTopology("demo", conf, this.buildDRCPTopology()); } catch (Exception e) { e.printStackTrace(System.out); } } private StormTopology buildDRCPTopology() { LinearDRPCTopologyBuilder topologyBuilder = new LinearDRPCTopologyBuilder("dome"); topologyBuilder.addBolt(new ArgsAcceptBlot(), 1); topologyBuilder.addBolt(new ChatFileBlot(), 2).allGrouping(); topologyBuilder.addBolt(new ChatMessageBlot(), 2).allGrouping(); return topologyBuilder.createRemoteTopology(); } } //===============另外说明一下: 研究storm的原因是,现在公司一个产品所记录的聊天记录文件已经超过了1TB,现在业务部门的要求是要在WEB界面上即时搜索聊天记录的关键字。 公司测试环境使用了hadoop1 + hbase0.94,并且有两个产品的技术团队都在使用,所以不能随意升级成hadoop2,就只能这样先进性方案预研了。 请各位大神帮忙解决一下这个问题啊。
撸大湿 2014-02-17
  • 打赏
  • 举报
回复
LZ你找对地方了 Storm的所有问题都属于本版内问题 我没看到你的源码,以及STORM的搭建方法,所以只能用排除法帮你解决 我猜你搭建的是独立的twitter storm,而不是 storm on yarn(hadoop20) 如果是在bolt阶段报错 可以排除ZooKeeper的问题,因为spout已经过了 确认id, result这两个对象是不是null 先别管drcp,把代码都注释掉 确认所有bolt的ack都能过吗?BaseRichBolt在emit时是自动ack的(去spout的ack方法中跟踪一下)

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧