Flink依赖管理

俊哥大数据 2023-01-13 00:47:10

课时名称	课时知识点
Flink依赖管理	Flink依赖管理

...全文

45 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig

解压后得到了jar包，拖入flink的lib文件里即可解决flink无法启动historyserver也就是无法访问8082的问题

目录核心依赖和应用程序依赖项目配置基础Maven依赖添加Connector和库依赖 Scala版本 Hadoop依赖附录：用于构建具有依赖项的Jar的模板使用Flink所需要的基础maven依赖包，还有一些数据来源的驱动，如Kafka Connector，还有保证Flink应用程序运行的Flink运行库。核心依赖和应用程序依赖 Flink Core Dependen...

本文针对Apache Flink流处理框架在实际使用中由于依赖库未正确安装或更新引发的问题进行了深入探讨。文章首先阐述了依赖库对Flink功能实现和版本兼容性的重要性，通过实例揭示了版本不匹配可能导致的运行时异常。接着详细介绍了如何在Java、Scala/Python项目中以及集群部署场景下正确安装和更新Flink依赖库，并提出了在遇到依赖冲突时的应对策略，包括统一版本和shade打包等方法。最后强调了合理管理与更新Flink及其依赖库对于保障流处理任务稳定运行的关键作用。

Apache Flink 是一个开源的流处理框架，用于进行高性能的、有状态的、容错的数据流处理。在 Flink 开发过程中，通常会涉及两类依赖：Flink 核心依赖和用户应用程序依赖。

杨俊的课程社区_NO_1

1

社区成员

858

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章