Flink的水印机制到底是怎么回事

2019-04-17 12:46:21 1.1k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

flink-watermark（水印）一、什么是flink-watermark（水印） 1.1官方字面介绍 Flink-watermark（水印）的本质是DataStream中的一种特殊元素，每个水印都携带有一个时间戳。当时间戳为T的水印出现时，表示事件时间t <= T的数据都已经到达，即水印后面应该只能流入事件时间t > T的数据。也就是说，水印是Flink判断迟到数据的标准，同时也是窗口触发的标记。 1.2代码层面 public final class Watermark extends StreamElement 阅读详情

看了flink的水印机制，感觉抽象难理解，想不明白水印时间为什么减掉几秒钟就是告诉flink要晚到达几秒，事件的触发时间和系统时间是不会变的呀，还有为什么要取最大时间戳是咋回事，希望能有大神用通俗易懂的方式介绍一下

...全文

CS5511芯片实战：如何用DP转LVDS驱动高刷显示器（附配置代码）本文详细解析了CS5511芯片在DP转LVDS高刷显示器驱动方案中的应用，包括核心架构、寄存器配置、时序优化及典型问题排查。通过实战案例和配置代码，帮助开发者快速实现120Hz高刷新率显示，特别适合医疗影像和工业HMI等严苛场景。阅读详情

QLB、王智超

高性能计算 2,409 成员 1,025 内容

+ 关注 + 加入社区

切换为时间正序

New、Px 2020-04-25

打赏
举报

我也讲一下我理解的 WaterMark -> https://blog.csdn.net/weixin_42261489/article/details/105756384

QLB、王智超 2019-08-27

打赏
举报

引用 3 楼 magic_kid_2010 的回复：

就是你在走，后面有一个小朋友也在走。他和你保持一个距离，小朋友只前进不后退。你有可能后退。但是如果你比小朋友还慢，就任务你迟到太久了，应该被忽略。

应该是以小朋友的时间为准是吗

magic_kid_2010 2019-08-27

打赏
举报

就是你在走，后面有一个小朋友也在走。他和你保持一个距离，小朋友只前进不后退。你有可能后退。但是如果你比小朋友还慢，就任务你迟到太久了，应该被忽略。

QLB、王智超 2019-07-22

打赏
举报

引用 1 楼灰当凌绝顶的回复：

其实是翻译的有问题，实际上应该翻译为水位线。接受的数据就相当于浮在水面的物体，水位线的高度只会升高不会降低，每当一个新数据进来时，会重新计算水位线时间，但是计算结果小于当前水位线时间，则不会更新现有的水位线。当水位线到达窗口触发时间时才会触发窗口的计算。
watermark的意义在于数据无序传递的时候有一定容错率，如果晚来的数据在容错范围之内，会当做正常传递来处理。

也就是接受的数据的时间在水位线以下就可以正常接受，水位线不会更新，超过水位线的，水位线会更新，计算按照水位线为准，是这个意思吗

灰当凌绝顶 2019-07-12

打赏
举报

其实是翻译的有问题，实际上应该翻译为水位线。接受的数据就相当于浮在水面的物体，水位线的高度只会升高不会降低，每当一个新数据进来时，会重新计算水位线时间，但是计算结果小于当前水位线时间，则不会更新现有的水位线。当水位线到达窗口触发时间时才会触发窗口的计算。
watermark的意义在于数据无序传递的时候有一定容错率，如果晚来的数据在容错范围之内，会当做正常传递来处理。

Flink的水印机制到底是怎么回事

相关推荐