Storm 远程DRCP 调用失败 ——再开新帖

说好不能打脸
Java领域优质创作者
博客专家认证
2014-02-18 11:06:07
感谢版主在http://bbs.csdn.net/topics/390710023帖子中帮我解决问题,但是问题依旧。现开一个新帖,请教大家
我已经把所有业务代码全部去掉了,写了一个简单的DRCP调用过程,代码如下:
public class StringBolt extends BaseBasicBolt {

/**
*
*/
private static final long serialVersionUID = 2686460556694913975L;

private Log log = LogFactory.getLog(StringBolt.class);

@Override
public void execute(Tuple input, BasicOutputCollector collector) {
String field0 = input.getValue(0).toString();
String field1 = input.getValue(1).toString();
String streamid = input.getSourceStreamId();

log.info("field0 === " + field0);
log.info("field1 === " + field1);


//发送
collector.emit(streamid, new Values(input.getValue(0) , field1));
}

@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("id" , "result"));
}
}


public class StringDrcpMain {
public static void main(String[] args) {
LinearDRPCTopologyBuilder drcpBuild = new LinearDRPCTopologyBuilder("string-drcp");
drcpBuild.addBolt(new StringBolt());

//这里是设置
Config conf = new Config();
conf.setDebug(false);

LocalCluster local = new LocalCluster();
local.submitTopology("string-drcp", conf, drcpBuild.createRemoteTopology());
}
}

//========客户机的调用代码为:
public class TestDRPCClient {
public static void main(String[] args) throws Exception {
DRPCClient client = new DRPCClient("172.16.4.234", 3772);
try {
System.out.println("开始执行client=======");
String tt = client.execute("string-drcp", "中国");
System.out.println("tt = " + tt);
} catch (Exception e) {
e.printStackTrace(System.out);
}
}
}



//==================报错现象为
1、拓扑能够注册成功,但是在ui监控见面看不到这个拓扑的概要
2、一旦客户机开始进行调用,服务器端就会报错:
49720 [Thread-21-bolt2] ERROR backtype.storm.daemon.executor -
java.lang.RuntimeException: java.lang.NullPointerException
at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:90) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.utils.DisruptorQueue.consumeBatchWhenAvailable(DisruptorQueue.java:61) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.disruptor$consume_batch_when_available.invoke(disruptor.clj:62) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.daemon.executor$fn__3498$fn__3510$fn__3557.invoke(executor.clj:730) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.util$async_loop$fn__444.invoke(util.clj:403) ~[storm-core-0.9.0.1.jar:na]
at clojure.lang.AFn.run(AFn.java:24) [clojure-1.4.0.jar:na]
at java.lang.Thread.run(Thread.java:744) [na:1.7.0_45]
Caused by: java.lang.NullPointerException: null
at backtype.storm.drpc.ReturnResults.execute(ReturnResults.java:60) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.daemon.executor$fn__3498$tuple_action_fn__3500.invoke(executor.clj:615) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.daemon.executor$mk_task_receiver$fn__3421.invoke(executor.clj:383) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.disruptor$clojure_handler$reify__2962.onEvent(disruptor.clj:43) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:87) ~[storm-core-0.9.0.1.jar:na]
... 6 common frames omitted
49768 [Thread-21-bolt2] INFO backtype.storm.util - Halting process: ("Worker died")


//======希望大家给予帮助。
...全文
737 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
说好不能打脸 2014-02-25
  • 打赏
  • 举报
回复
问题解决了,我自己写了一个基于request-id存储结果元的blot。不过不知道性能怎么样。谢谢各位了。
说好不能打脸 2014-02-20
  • 打赏
  • 举报
回复
感谢版主帮我解决问题啊,版主V5。之前的问题解决了,原因是有几个: 1、之前对Topology的提交机制理解不到位。没有使用StormSubmitter注册成远程DRPC服务,所以在ui上面是看不到的。 2、Storm对jar文件的加载方式,是会在 ./storm-local/nimbus/inbox/生成一个临时的jar文件的,每次替换自己的新的jar文件,就需要删除这个目录下的临时文件,再进行重新加载,否则更改有时不会成功。 3、至于之前at backtype.storm.drpc.ReturnResults.execute(ReturnResults.java:60) 报错的原因,就是因为没有找到注册的drpc服务导致的。 版主,我先把http://bbs.csdn.net/topics/390710023这个帖子给你结了,不过这个帖子还有一个问题向你请教一下,就是关于drpc调用后返回给调用客户端值的问题。 我先我把请求提交给了一个bolt来处理,这个bolt通过遍历聊天日志文件,找到了很多和“你是谁”这个关键字匹配的聊天日志。 按照之前的的写法: collector.emit(new Values(requestid , message)); Topology只能把匹配的第一条记录返回给client,如何才能做到把所有复合匹配的聊天记录一起返回给client呢?
撸大湿 2014-02-20
  • 打赏
  • 举报
回复
最简单的办法 在ReturnResults bolt之前的那个bolt 把所有msg全部汇总,拼接成stringbuilder emit给ReturnResults
天天开心oo 2014-02-19
  • 打赏
  • 举报
回复
版大V5,这个例子很有用,学习了
海兰 2014-02-19
  • 打赏
  • 举报
回复
嗯,学习一下了~~~
zippooooo 2014-02-18
  • 打赏
  • 举报
回复
很少看到storm的帖子,学习一下
原来撸大湿storm也懂的啊
撸大湿 2014-02-18
  • 打赏
  • 举报
回复
给你写个例子

DRPC服务端代码

import java.util.Map;
import backtype.storm.Config;
import backtype.storm.StormSubmitter;
import backtype.storm.drpc.LinearDRPCTopologyBuilder;
import backtype.storm.task.TopologyContext;
import backtype.storm.topology.BasicOutputCollector;
import backtype.storm.topology.IBasicBolt;
import backtype.storm.topology.OutputFieldsDeclarer;
import backtype.storm.tuple.Fields;
import backtype.storm.tuple.Tuple;
import backtype.storm.tuple.Values;

@SuppressWarnings("deprecation")
public class yinwenjie_storm_drpc {
public static class storm_drpc_Bolt implements IBasicBolt {

/**
* by CSDN 撸大湿
*/
private static final long serialVersionUID = 3812791870691350630L;

StringBuilder Str = new StringBuilder();

public void prepare(Map conf, TopologyContext context) {
}

public void execute(Tuple tuple, BasicOutputCollector collector) {
Str.append("@");
String input = tuple.getString(1);
collector
.emit(new Values(tuple.getValue(0), input + Str.toString()));
}

public void cleanup() {
}

public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("id", "result"));
}

@Override
public Map<String, Object> getComponentConfiguration() {
// TODO Auto-generated method stub
return null;
}

}

@SuppressWarnings("deprecation")
public static void main(String[] args) throws Exception {

LinearDRPCTopologyBuilder builder = new LinearDRPCTopologyBuilder(
"yinwenjie_storm_drpc");
builder.addBolt(new storm_drpc_Bolt(), 3).allGrouping();
Config conf = new Config();
conf.setDebug(false);
conf.setNumWorkers(4);
StormSubmitter.submitTopology(args[0], conf,
builder.createRemoteTopology());
}
}


DRPC客户端调用

import backtype.storm.utils.DRPCClient;

public class yinwenjie_storm_drpc_client {
public static void main(String[] args) throws Exception {
/**
* by CSDN 撸大湿
*/
DRPCClient client = null;
client = new DRPCClient("mynode001", 3772);
System.out.println("开始执行DRPC客户端调用");
for (int i = 0; i < 10; i++) {
String tt = client.execute("yinwenjie_storm_drpc", "yinwenjie你好");
System.out.println("tt = " + tt);
}
}
}


我把代码打包到了一个mystorm.jar的包里
我的storm测试环境集群只有两台
mynode001 部署了nimbus、zookeeper 以及 drpc server
mynode002 部署了supervisor
storm版本是twitter storm 0.9.0.1最新版

把mystorm.jar copy到mynode001上,执行以下命令
storm jar /data/storm/storm-yarn-master/lib/mystorm.jar yinwenjie_storm_drpc yinwenjie_storm_drpc -c nimbus.host=mynode001 



在执行客户端调用程序


Topology summary 信息


配置非常简单,如下
storm.zookeeper.servers:
- "mynode001"
nimbus.host: "mynode001"
nimbus.childopts: -Xmx256m
worker.childopts: -Xmx100m
supervisor.childopts: -Xmx256m
drpc.childopts: -Xmx256m
drpc.servers:
- "mynode001"


只要配置和代码的当,应该不会出现LZ说的那几个问题
例子和配置都给你了,照着我的方法做一次试试吧

-----------------------------------------
最后提醒一下,JZMQ别忘了装,JZMQ不会影响nimbus、drpc 、supervisor启动,但会导致Topology 初始化失败。检查一下你的work进程的log,看看有没有报JZMQ错误

20,807

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧