20,842
社区成员
发帖
与我相关
我的任务
分享Storm 远程DRCP 调用失败
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("demo", conf, topologyBuilder.createRemoteTopology());
但是每次服务器执行到public class ReturnResults extends BaseRichBolt中的第60行
client.result(id, result);
服务器就会报错java.lang.RuntimeException: java.lang.NullPointerException
跟踪storm的源码发现client生成为该类第46行：
if(local) {
client = (DistributedRPCInvocations.Iface) ServiceRegistry.getService(host);
}
==================我估计storm的配置信息的问题，配置信息如下：
storm.zookeeper.servers:
- "localhost"
drpc.servers:
- "172.16.4.234"
==================其他都是采用的默认配置，zookeeper、storm nimbus、supervisor以及drcp服务都是能够正常启动的。
===============哪位大神能帮我解决一下（我没有找到符合的版块，只能放在类似的版块中了）。
...全文
请发表友善的回复…
发表回复
说好不能打脸 2014-02-18
- 打赏
- 举报
现在做storm预研的环境就只有一台机器，所以zk配置的是单机。公司的hadoop1的环境有3个节点，zk也是3个。这里我贴出来的配置信息时针对前一个的。
那谢谢版主了，帮小弟我耐心解决问题。
撸大湿 2014-02-18
- 打赏
- 举报
我去你新帖回复咯~~~
撸大湿 2014-02-17
- 打赏
- 举报
OK，我大致明白你的意思了
等明后天我进公司Storm环境测试一下
如果确认是配置问题，我把我们的开发测试环境贴给你，LZ可以参考一下
如果确认是代码问题，我写个例子给你
--------------------**********----------------------
zk配置的是localhost？你的集群是单机的吗？
zk改成host或者ip地址试一下
等明后天我进公司Storm环境测试一下
如果确认是配置问题，我把我们的开发测试环境贴给你，LZ可以参考一下
如果确认是代码问题，我写个例子给你
--------------------**********----------------------
zk配置的是localhost？你的集群是单机的吗？
zk改成host或者ip地址试一下
说好不能打脸 2014-02-17
- 打赏
- 举报
还有一个奇怪的现象，就是不管是drcp方式还是非drcp的提交的Topology，我在监控界面上，都看不到Topology summary中有这个Topology的概要信息，，，，不知道是什么原因。
说好不能打脸 2014-02-17
- 打赏
- 举报
没想到版主亲自回复我，荣幸啊。
我搭建的是独立的twitter storm。非drcp的情况下，整个topology都能跑通，所有bolt都可以ack。
就是使用LinearDRPCTopologyBuilder提交drcp topology的时候，在最后一步ReturnResults类中的第60行要报错。
if(local) {
client = (DistributedRPCInvocations.Iface) ServiceRegistry.getService(host);
}
从官方资料上看LinearDRPCTopologyBuilder已经自动包含了PrepareRequest、JoinResult、ReturnResults三个Blot，不需要自己加入了。而报错的这一行
client = (DistributedRPCInvocations.Iface) ServiceRegistry.getService(host);
那个ServiceRegistry类的字面含义看，应该是没有取到什么服务配置。
// this class should be combined with RegisteredGlobalState
public class ServiceRegistry {
private static HashMap<String, Object> _services = new HashMap<String, Object>();
private static final Object _lock = new Object();
public static String registerService(Object service) {
synchronized(_lock) {
String id = UUID.randomUUID().toString();
_services.put(id, service);
return id;
}
}
public static Object getService(String id) {
synchronized(_lock) {
return _services.get(id);
}
}
public static void unregisterService(String id) {
synchronized(_lock) {
_services.remove(id);
}
}
}
所以我才推测
1：不是我写的代码报错，应为已经到了最后一个系统带的Blot：ReturnResults
2、可能是某个配置，或者是创建和提交topology的设置问题。
我把创建DRPCTopology的代码也贴给版主：
public class TestMainBuild implements Serializable {
/**
*
*/
private static final long serialVersionUID = 3974707778386408780L;
public static void main(String[] args) {
new TestMainBuild().doTopology();
}
public TestMainBuild() {
}
/**
* 开始进行
*/
public void doTopology() {
System.out.println("stor——chat——mdemo开始---------------------------");
Config conf = new Config();
conf.setDebug(false);
LocalCluster cluster = new LocalCluster();
// 提交处理
try {
cluster.submitTopology("demo", conf, this.buildDRCPTopology());
} catch (Exception e) {
e.printStackTrace(System.out);
}
}
private StormTopology buildDRCPTopology() {
LinearDRPCTopologyBuilder topologyBuilder = new LinearDRPCTopologyBuilder("dome");
topologyBuilder.addBolt(new ArgsAcceptBlot(), 1);
topologyBuilder.addBolt(new ChatFileBlot(), 2).allGrouping();
topologyBuilder.addBolt(new ChatMessageBlot(), 2).allGrouping();
return topologyBuilder.createRemoteTopology();
}
}
//===============另外说明一下：
研究storm的原因是，现在公司一个产品所记录的聊天记录文件已经超过了1TB，现在业务部门的要求是要在WEB界面上即时搜索聊天记录的关键字。
公司测试环境使用了hadoop1 + hbase0.94，并且有两个产品的技术团队都在使用，所以不能随意升级成hadoop2，就只能这样先进性方案预研了。
请各位大神帮忙解决一下这个问题啊。
撸大湿 2014-02-17
- 打赏
- 举报
LZ你找对地方了 Storm的所有问题都属于本版内问题
我没看到你的源码，以及STORM的搭建方法，所以只能用排除法帮你解决
我猜你搭建的是独立的twitter storm，而不是 storm on yarn(hadoop20)
如果是在bolt阶段报错
可以排除ZooKeeper的问题,因为spout已经过了
确认id, result这两个对象是不是null
先别管drcp，把代码都注释掉
确认所有bolt的ack都能过吗？BaseRichBolt在emit时是自动ack的（去spout的ack方法中跟踪一下）
