• 全部
...

flink 以application mode 运行在yarn上的一个问题

我先森 2022-11-09 15:33:48

很遗憾这个问题目前依旧没有解决,百度更不要想了基本不可能找到答案,所以只能来这里试一下了。

代码描述:  table api读取外部系统changelog流数据---->转成Datastream 数据流过滤一些数据之后再次-->转成Table 对象,开窗口计算。

最后执行调用:

statementSet.execute();
env.execute();

本以为只是一个寻常的程序,结果出乎意料的东西出现了。在yarn正常启动了一个application id, 任务也在正常运行。下面是运行命令,以及yarn的截图

  1. /usr/local/data/penggan/flink-1.13.6/bin/flink run-application -t yarn-application \
  2. -Denv.java.opts="-Dfile.encoding=UTF-8" \
  3. -Djobmanager.memory.process.size=1024m \
  4. -Dtaskmanager.memory.process.size=4096m \
  5. -Dtaskmanager.numberOfTaskSlots=2 \
  6. -Dparallelism.default=2 \
  7. -Dyarn.provided.lib.dirs="hdfs://cm01/pg/flinklib" \
  8. -Dyarn.application.name=DominoCafeJoin \
  9. -Dyarn.application. \
  10. -c com.bk.domino.join.JoinTableMain \
  11. /usr/local/data/flink-1.13.6/jobs/original-FlinkSql-1.0-SNAPSHOT.jar hdfs://cm01:8020/pg/earlist/joinddl/

 

 

 到这里都没有问题,最后打开运行页面发现生成了两个job,这是我知识误区了,不明白为何生成两个job,这样的话我stop指定生成savapoint的时候岂不是要生成两个检查点?   那么问题来了,我从savepoint重新恢复运行怎么办?  flink run -s  savepointPath  支持传多个savepoint吗?   我完全没有这方面的经验,网上也没有资料。。。

下面是两个job截图:对了jobname都是一样的,只不过点进去之后看到的jobID不同

 

...全文
给本帖投票
327 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
我先森 2022-11-11
  • 打赏
  • 举报
回复

难道没有人会吗??问题到现在依旧未解决

117

社区成员

发帖
与我相关
我的任务
社区描述
Flink开发者
其他 企业社区
社区管理员
  • csdnsqst0026
  • nihui123
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

1.用户在社区内发帖:帖子内容为推荐与本社区技术相关的【优质书籍、文章、视频】,贴子中要体现推荐的原因。每人可加入多个社区,一个社区中前20位发帖用户,且在同一社区累计发布2个帖子即可获得CSDN定制帆布包1个(同个ID在一个社区仅可领取1次)。同时,活动周结束后,社区专家会对【推荐贴】进行点评,并将优质的帖子整理成【精华贴】置顶。同时我们会在被评为精华帖的同学中随机抽取两位同学获得精美咖啡杯一个。

2.【推荐贴】要求:每个推荐贴中需要推荐和本社区技术相关的【书籍、文章、视频】中至少两类,文章和视频需要复制链接地址,并且在每个推荐的内容下需要附上至少100字的推荐原因/观后感受。同一社区所发的推荐帖内容不能重复。

 

 

试试用AI创作助手写篇文章吧

手机看
关注公众号

关注公众号

客服 返回
顶部