SDC实战-基于Hive的数据漂移同步解决方案

登峰大数据 2023-01-13 03:18:34

课时名称	课时知识点
SDC实战-基于Hive的数据漂移同步解决方案	源头数据表增加字段，如何实时同步到Hive表中？

...全文

235 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

在解释漂移同步之前，首先简单说明以下数据漂移的概念。数据漂移，简单来说，就是数据存放时间分区错误。在数据仓库的源数据表分区中，同一业务日期数据下包含了不属于该天的数据或者丢失了该天的变更数据。这个一般是时间戳不准确导致的，而时间戳不准确的原因有很多，这里不做过多说明，可以自行查询资料了解。漂移同步，就是解决数据漂移这个问题的，根据构建的策略，将数据同步到正确的表中。Hive漂移同步解决方案，是StreamSets提供的一整套解决方案，可以将输入数据实时同步到相应的Hive表中。这个方案除了解决数据漂移的问题

什么漂移同步在解释漂移同步之前，首先简单说明以下数据漂移的概念。数据漂移，简单来说，就是数据存放时间分区错误。在数据仓库的源数据表分区中，同一业务日期数据下包含了不属于该天的数据或者丢失了该天的变更数据。这个一般是时间戳不准确导致的，而时间戳不准确的原因有很多，这里不做过多说明，可以自行查询资料了解。漂移同步，就是解决数据漂移这个问题的，根据构建的策略，将数据同步到正确的表中。 Hive漂移同步解决方案，是StreamSets提供的一整套解决方案，可以将输入数据实时同步到相应的Hive表中。这个方案除

数据漂移，即数据结构和语义不断的计划外改变，是数据工程师长期面临的问题。模式更改可能会破坏集成，在最坏的情况下，会无声地在系统中传播坏数据，并导致基于错误分析做出决策。在过去，数据工程师必须手动对漂移做出反应——在输入的模式中寻找变化，手动修改Hive表，并重新提交修改过的数据接入作业。StreamSets数据收集器漂移同步特性通过近乎实时地自动创建和修改表来解决模式漂移问题，使数据立即准备好供终端用户使用。本教程将带领您为一个简单的用例设置漂移同步。场景是这样的:我们想要从关系数据库中的一个表中获

本篇文章主要介绍如何使用StreamSets实时采集Kafka的数据并将采集的数据写入Hive，StreamSets的流程处理如下：

SDCN框架主要由GCN和AE组成。GCN(图卷积网络)用在文本数据上的好处：捕捉语义关系：文本数据通常具有复杂的语义关系，例如词与词之间的、句子之间的等。GCN可以通过在图结构中传播信息来学习单词或句子之间的，从而更好地捕捉到这些语义关系。处理长距离依赖：传统基于序列模型（如循环神经网络）处理文本时可能会面临问题，即较远位置上出现的单词对当前位置产生影响。而GCN可以通过多层卷积操作，在不同层级上进行信息传递和聚合，有效地解决了这个问题。

李登峰的课程社区_NO_1

1

社区成员

90

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章