Storm 远程DRCP 调用失败 ——再开新帖

[说好不能打脸]

感谢版主在http://bbs.csdn.net/topics/390710023帖子中帮我解决问题，但是问题依旧。现开一个新帖，请教大家
我已经把所有业务代码全部去掉了，写了一个简单的DRCP调用过程，代码如下：
public class StringBolt extends BaseBasicBolt {

/**
*
*/
private static final long serialVersionUID = 2686460556694913975L;

private Log log = LogFactory.getLog(StringBolt.class);

@Override
public void execute(Tuple input, BasicOutputCollector collector) {
String field0 = input.getValue(0).toString();
String field1 = input.getValue(1).toString();
String streamid = input.getSourceStreamId();

log.info("field0 === " + field0);
log.info("field1 === " + field1);


//发送
collector.emit(streamid, new Values(input.getValue(0) , field1));
}

@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("id" , "result"));
}
}


public class StringDrcpMain {
public static void main(String[] args) {
LinearDRPCTopologyBuilder drcpBuild = new LinearDRPCTopologyBuilder("string-drcp");
drcpBuild.addBolt(new StringBolt());

//这里是设置
Config conf = new Config();
conf.setDebug(false);

LocalCluster local = new LocalCluster();
local.submitTopology("string-drcp", conf, drcpBuild.createRemoteTopology());
}
}

//========客户机的调用代码为：
public class TestDRPCClient {
public static void main(String[] args) throws Exception {
DRPCClient client = new DRPCClient("172.16.4.234", 3772);
try {
System.out.println("开始执行client=======");
String tt = client.execute("string-drcp", "中国");
System.out.println("tt = " + tt);
} catch (Exception e) {
e.printStackTrace(System.out);
}
}
}



//==================报错现象为
1、拓扑能够注册成功，但是在ui监控见面看不到这个拓扑的概要
2、一旦客户机开始进行调用，服务器端就会报错：
49720 [Thread-21-bolt2] ERROR backtype.storm.daemon.executor -
java.lang.RuntimeException: java.lang.NullPointerException
at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:90) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.utils.DisruptorQueue.consumeBatchWhenAvailable(DisruptorQueue.java:61) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.disruptor$consume_batch_when_available.invoke(disruptor.clj:62) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.daemon.executor$fn__3498$fn__3510$fn__3557.invoke(executor.clj:730) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.util$async_loop$fn__444.invoke(util.clj:403) ~[storm-core-0.9.0.1.jar:na]
at clojure.lang.AFn.run(AFn.java:24) [clojure-1.4.0.jar:na]
at java.lang.Thread.run(Thread.java:744) [na:1.7.0_45]
Caused by: java.lang.NullPointerException: null
at backtype.storm.drpc.ReturnResults.execute(ReturnResults.java:60) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.daemon.executor$fn__3498$tuple_action_fn__3500.invoke(executor.clj:615) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.daemon.executor$mk_task_receiver$fn__3421.invoke(executor.clj:383) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.disruptor$clojure_handler$reify__2962.onEvent(disruptor.clj:43) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:87) ~[storm-core-0.9.0.1.jar:na]
... 6 common frames omitted
49768 [Thread-21-bolt2] INFO backtype.storm.util - Halting process: ("Worker died")


//======希望大家给予帮助。

[撸大湿]

给你写个例子

DRPC服务端代码

import java.util.Map;
import backtype.storm.Config;
import backtype.storm.StormSubmitter;
import backtype.storm.drpc.LinearDRPCTopologyBuilder;
import backtype.storm.task.TopologyContext;
import backtype.storm.topology.BasicOutputCollector;
import backtype.storm.topology.IBasicBolt;
import backtype.storm.topology.OutputFieldsDeclarer;
import backtype.storm.tuple.Fields;
import backtype.storm.tuple.Tuple;
import backtype.storm.tuple.Values;

@SuppressWarnings("deprecation")
public class yinwenjie_storm_drpc {
	public static class storm_drpc_Bolt implements IBasicBolt {

		/**
		 * by CSDN 撸大湿
		 */
		private static final long serialVersionUID = 3812791870691350630L;

		StringBuilder Str = new StringBuilder();

		public void prepare(Map conf, TopologyContext context) {
		}

		public void execute(Tuple tuple, BasicOutputCollector collector) {
			Str.append("@");
			String input = tuple.getString(1);
			collector
					.emit(new Values(tuple.getValue(0), input + Str.toString()));
		}

		public void cleanup() {
		}

		public void declareOutputFields(OutputFieldsDeclarer declarer) {
			declarer.declare(new Fields("id", "result"));
		}

		@Override
		public Map<String, Object> getComponentConfiguration() {
			// TODO Auto-generated method stub
			return null;
		}

	}

	@SuppressWarnings("deprecation")
	public static void main(String[] args) throws Exception {

		LinearDRPCTopologyBuilder builder = new LinearDRPCTopologyBuilder(
				"yinwenjie_storm_drpc");
		builder.addBolt(new storm_drpc_Bolt(), 3).allGrouping();
		Config conf = new Config();
		conf.setDebug(false);
		conf.setNumWorkers(4);
		StormSubmitter.submitTopology(args[0], conf,
				builder.createRemoteTopology());
	}
}

DRPC客户端调用

import backtype.storm.utils.DRPCClient;

public class yinwenjie_storm_drpc_client {
	public static void main(String[] args) throws Exception {
		/**
		 * by CSDN 撸大湿
		 */
		DRPCClient client = null;
		client = new DRPCClient("mynode001", 3772);
		System.out.println("开始执行DRPC客户端调用");
		for (int i = 0; i < 10; i++) {
			String tt = client.execute("yinwenjie_storm_drpc", "yinwenjie你好");
			System.out.println("tt = " + tt);
		}
	}
}

我把代码打包到了一个mystorm.jar的包里
我的storm测试环境集群只有两台
mynode001 部署了nimbus、zookeeper 以及 drpc server
mynode002 部署了supervisor
storm版本是twitter storm 0.9.0.1最新版

把mystorm.jar copy到mynode001上，执行以下命令

storm jar /data/storm/storm-yarn-master/lib/mystorm.jar yinwenjie_storm_drpc yinwenjie_storm_drpc -c nimbus.host=mynode001 

在执行客户端调用程序


Topology summary 信息


配置非常简单，如下
storm.zookeeper.servers:
- "mynode001"
nimbus.host: "mynode001"
nimbus.childopts: -Xmx256m
worker.childopts: -Xmx100m
supervisor.childopts: -Xmx256m
drpc.childopts: -Xmx256m
drpc.servers:
- "mynode001"


只要配置和代码的当，应该不会出现LZ说的那几个问题
例子和配置都给你了，照着我的方法做一次试试吧

-----------------------------------------
最后提醒一下，JZMQ别忘了装，JZMQ不会影响nimbus、drpc 、supervisor启动，但会导致Topology 初始化失败。检查一下你的work进程的log，看看有没有报JZMQ错误

[zippooooo]

很少看到storm的帖子，学习一下
原来撸大湿storm也懂的啊

[海兰]

嗯，学习一下了~~~

[天天开心oo]

版大V5，这个例子很有用，学习了

[撸大湿]

最简单的办法 在ReturnResults bolt之前的那个bolt 把所有msg全部汇总，拼接成stringbuilder emit给ReturnResults

[说好不能打脸]

感谢版主帮我解决问题啊，版主V5。之前的问题解决了，原因是有几个： 1、之前对Topology的提交机制理解不到位。没有使用StormSubmitter注册成远程DRPC服务，所以在ui上面是看不到的。 2、Storm对jar文件的加载方式，是会在 ./storm-local/nimbus/inbox/生成一个临时的jar文件的，每次替换自己的新的jar文件，就需要删除这个目录下的临时文件，再进行重新加载，否则更改有时不会成功。 3、至于之前at backtype.storm.drpc.ReturnResults.execute(ReturnResults.java:60) 报错的原因，就是因为没有找到注册的drpc服务导致的。 版主，我先把http://bbs.csdn.net/topics/390710023这个帖子给你结了，不过这个帖子还有一个问题向你请教一下，就是关于drpc调用后返回给调用客户端值的问题。 我先我把请求提交给了一个bolt来处理，这个bolt通过遍历聊天日志文件，找到了很多和“你是谁”这个关键字匹配的聊天日志。 按照之前的的写法： collector.emit(new Values(requestid , message)); Topology只能把匹配的第一条记录返回给client，如何才能做到把所有复合匹配的聊天记录一起返回给client呢？

[说好不能打脸]

问题解决了，我自己写了一个基于request-id存储结果元的blot。不过不知道性能怎么样。谢谢各位了。