Flink的水印机制到底是怎么回事

QLB、王智超 2019-04-17 12:46:21
看了flink的水印机制,感觉抽象难理解,想不明白水印时间为什么减掉几秒钟就是告诉flink要晚到达几秒,事件的触发时间和系统时间是不会变的呀,还有为什么要取最大时间戳是咋回事,希望能有大神用通俗易懂的方式介绍一下
...全文
871 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
New、Px 2020-04-25
  • 打赏
  • 举报
回复
我也讲一下我理解的 WaterMark -> https://blog.csdn.net/weixin_42261489/article/details/105756384
QLB、王智超 2019-08-27
  • 打赏
  • 举报
回复
引用 3 楼 magic_kid_2010 的回复:
就是你在走,后面有一个小朋友也在走。他和你保持一个距离,小朋友只前进不后退。你有可能后退。但是如果你比小朋友还慢,就任务你迟到太久了,应该被忽略。
应该是以小朋友的时间为准是吗
magic_kid_2010 2019-08-27
  • 打赏
  • 举报
回复
就是你在走,后面有一个小朋友也在走。他和你保持一个距离,小朋友只前进不后退。你有可能后退。但是如果你比小朋友还慢,就任务你迟到太久了,应该被忽略。
QLB、王智超 2019-07-22
  • 打赏
  • 举报
回复
引用 1 楼 灰当凌绝顶 的回复:
其实是翻译的有问题,实际上应该翻译为水位线。接受的数据就相当于浮在水面的物体,水位线的高度只会升高不会降低,每当一个新数据进来时,会重新计算水位线时间,但是计算结果小于当前水位线时间,则不会更新现有的水位线。 当水位线到达窗口触发时间时才会触发窗口的计算。
watermark的意义在于数据无序传递的时候有一定容错率,如果晚来的数据在容错范围之内,会当做正常传递来处理。
也就是接受的数据的时间在水位线以下就可以正常接受,水位线不会更新,超过水位线的,水位线会更新,计算按照水位线为准,是这个意思吗
灰当凌绝顶 2019-07-12
  • 打赏
  • 举报
回复 1
其实是翻译的有问题,实际上应该翻译为水位线。接受的数据就相当于浮在水面的物体,水位线的高度只会升高不会降低,每当一个新数据进来时,会重新计算水位线时间,但是计算结果小于当前水位线时间,则不会更新现有的水位线。 当水位线到达窗口触发时间时才会触发窗口的计算。
watermark的意义在于数据无序传递的时候有一定容错率,如果晚来的数据在容错范围之内,会当做正常传递来处理。

2,408

社区成员

发帖
与我相关
我的任务
社区描述
高性能计算
社区管理员
  • 高性能计算社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧