20,808
社区成员
发帖
与我相关
我的任务
分享storm 远程提交jar包到集群 任务work启动没办法读取到提交jar中的东西~
开发环境：storm trident 2.0.0 开发版本 + springboot+ maven 等
服务器：host1（存放项目 运行jar） host2（storm集群主节点） host3（storm集群从节点） host4（storm集群从节点）
问题：将项目maven install 打成jar 放到 host1 运行 ——启动任务——将项目打成storm.jar提交到storm集群——主节点分配——从节点做事——例如分配到host3从节点——host会分配到storm的worker去执行——查看lib-work日志——报错 找不到storm.jar中的类或者jar包错误等。
解决方法一：我使用最笨的方法，我将报错信息中所报的所有找不到的jar包全放入lib-work 目录下也包括storm.jar，但是这个storm.jar是由我本地eclipse export导出的jar，我将放入lib-work中。完成以上操作再次启动任务，运行不报错。
方法一的问题：每一次做出修改我都需要部署2个地方，繁杂，不太适合后期管理。
求助：如何能够让代码生成storm.jar 运行时候不报错（目前的猜想，在maven+springboot 项目 maven install的jar包中运行storm.jar 导致 storm没办法去读取到信息）
服务器：host1（存放项目 运行jar） host2（storm集群主节点） host3（storm集群从节点） host4（storm集群从节点）
问题：将项目maven install 打成jar 放到 host1 运行 ——启动任务——将项目打成storm.jar提交到storm集群——主节点分配——从节点做事——例如分配到host3从节点——host会分配到storm的worker去执行——查看lib-work日志——报错 找不到storm.jar中的类或者jar包错误等。
解决方法一：我使用最笨的方法，我将报错信息中所报的所有找不到的jar包全放入lib-work 目录下也包括storm.jar，但是这个storm.jar是由我本地eclipse export导出的jar，我将放入lib-work中。完成以上操作再次启动任务，运行不报错。
方法一的问题：每一次做出修改我都需要部署2个地方，繁杂，不太适合后期管理。
求助：如何能够让代码生成storm.jar 运行时候不报错（目前的猜想，在maven+springboot 项目 maven install的jar包中运行storm.jar 导致 storm没办法去读取到信息）
...全文
请发表友善的回复…
发表回复
yesyes1 2020-06-03
- 打赏
- 举报
最开始的版本最终使用maven-shade-plugin解决了，统一了打包方式。
二次迭代的时候最终舍弃掉了storm改换成了flink...不得不说flink真香
l06066hb 2019-02-15
- 打赏
- 举报
springboot打包方式这种的问题你解决了么
l06066hb 2019-02-15
- 打赏
- 举报
通过maven-shade-plugin打包倒是不报找不到类的错误 但是bean又被重复注册了 搞了一阵还没有好的解决办法
yesyes1 2018-12-21
- 打赏
- 举报
对于storm的 目录结构 希望有人能帮我解惑下。
lib-workers 目录
lib 目录
yesyes1 2018-12-21
- 打赏
- 举报
emmm...没人了解过嘛~
我简单的说就是 我java远程把项目打成jar包后，storm任务 计算的时候报错找不到我jar包里的东西。
yesyes1 2018-12-21
- 打赏
- 举报
原因找到了，但是不知道怎么去处理
原因：我们将jar中打包的东西传到storm的时候stormjar.jar中的项目jar包打包方式是按照springboot方式打包的，
而任务运行时按照的方式是读取不到springboot打的这种jar的。我们需要的是就是那种eclipse export 导出成jar的那种jar包。
不知道怎么解决这个问题~问题找到了，不懂怎么解决也是很头痛，有没有大神能回复一下~
