社区
齐宁的课程社区_NO_1
揭秘Flink 1.19源码深度剖析
帖子详情
精通Flink RPC之动态代理_源码debug
码界探索
2024-03-24 23:32:27
课时名称
课时知识点
精通Flink RPC之动态代理_源码debug
本课程旨在带领大家深入Flink的底层源码,从源码的角度剖析其工作原理、架构设计以及性能优化等方面的知识。通过本课程的学习, 你将能够全面理解Flink的运行机制,掌握其核心组件的实现原理,从而在实际应用中更加熟练地运用Flink解决复杂的大数据问题。
...全文
256
回复
打赏
收藏
精通Flink RPC之动态代理_源码debug
课时名称课时知识点精通Flink RPC之动态代理_源码debug本课程旨在带领大家深入Flink的底层源码,从源码的角度剖析其工作原理、架构设计以及性能优化等方面的知识。通过本课程的学习, 你将能够全面理解Flink的运行机制,掌握其核心组件的实现
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
flink
源码
系列:
RPC
通信
2)Fenced
Rpc
Endpoint继承
Rpc
Endpoint,内部增加了fencingToken字段,实现了Fenced
Rpc
Endpoint的节点都会有一个fencingToken,当远程
RPC
调用时,会比较访问者和被访问者的fencingToken是否一致,一致了才会进行后续操作。
Flink
内部所有的
Rpc
Endpoint 实现(TaskExecutor,ResourceManager、JobMaster)等第一次启动都会触发onstart方法的执行,这是pekko的内部机制。
Flink
架构,
源码
及
debug
工作中用
Flink
做批量和流式处理有段时间了,感觉只看
Flink
文档是对
Flink
ProgramRuntime的细节描述不是很多, 程序员还是看代码最简单和有效。所以想写点东西,记录一下,如果能对别人有所帮助,善莫大焉。 说一下我的工作,在一个项目里我们在
Flink
-SQL基础上构建了一个SQL Engine, 使懂SQL非技术人员能够使用SQL代替程序员直接实现Application, 然后在此基础上在加上一些拖拽的界面,使不懂SQL非技术人员利用拖拽实现批量或流式数据处理的Appl...
Flink
中基于Akka的
RPC
实现
Flink
中基于Akka的
RPC
实现 版本说明:
Flink
: 1.10.1 1 前言
Flink
中
RPC
是基于Akka实现的,在上一篇文章《使用Akka实现简单
RPC
框架》中,使用Akka的基本API加上Java
动态代理
实现了一个简单的
RPC
框架,对Akka不太熟悉的同学可以先参考那篇文章手写一下代码,然后再来阅读这篇文章会更好的理解
Flink
的
RPC
实现,基本原理都是一样的。我也是先看的Akka相关知识,然后再重新阅读的
Flink
代码,不得不承认,我上一篇文章的实现并没有
Flink
中实现的优雅,确实有
Flink
源码
阅读笔记(3)-
Flink
底层
RPC
框架分析
对于
Flink
中各个组件(JobMaster、TaskManager、Dispatcher等),其底层
RPC
框架基于Akka实现,本文着重分析
Flink
中的
Rpc
框架实现机制及梳理其通信流程。由于
Flink
底层
Rpc
是基于Akka实现,我们先了解下Akka的基本使用。Akka是一个开发并发、容错和可伸缩应用的框架。它是的一个实现,和Erlang的并发模型很像。在Actor模型中,所有的实体被认为是独立的actors。actors和其他actors通过发送异步消息通信。Actor模型的强大来自于异步。
【
Flink
源码
分析】6.
Flink
1.19
源码
分析-
Flink
底层的异步通信
仅摘取了
Flink
RPC
进行通信的时候一段代码,也是异步通信的典型代码。
齐宁的课程社区_NO_1
3
社区成员
65
社区内容
发帖
与我相关
我的任务
齐宁的课程社区_NO_1
大数据工程师
复制链接
扫一扫
分享
社区描述
大数据工程师
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章