构建实时数仓的流批一体ETL工具-Streamsets

登峰大数据 2023-01-13 03:18:33

课程名称	适应人群
构建实时数仓的流批一体ETL工具-Streamsets	大数据开发工程师、大数据分析师、数据架构师、ETL工程师

本课程来自一线项目(实时数仓建设)。创建实时数仓，是当前很多公司的需求，如何搭建实时数仓的架构？实时数仓需要有实时同步数据的ETL工具。在架构选型时，调研了很多ETL工具，包括Kettle、Azkaban和Streamsets，最终选择了Streamsets。如果您是数仓架构师、大数据开发工程师，本课程对您来说，非常有益。

课程全程以实战的方式进行，每节课一到两个例子，并且会将创建实时数仓过程中的经验和教训穿插到例子讲解中，欢迎大家一起讨论实时数仓架构设计！

...全文

3450 15 打赏收藏转发到动态举报

写回复

15 条回复

切换为时间正序

请发表友善的回复…

发表回复

originalmb 2023-10-15

打赏
举报

回复

下载不了这个软件了，第一步就结束了，太难了

猫太太 2024-04-17

举报

回复

@originalmb 可以下，用那个docker版本的，但是收费了，免费的只能用一个月。

lzhbest333 2022-03-02

打赏
举报

回复

不仅视频学习到工具使用, 还能有老师的支持服务, 太值了

HangweiLi15 2022-01-07

打赏
举报

回复

老师，怎么加您的微信呢？？

登峰大数据 2023-02-01

举报

回复

@HangweiLi15 微信号 bigdata_work

jzg0de 2022-01-05

打赏
举报

回复

没法问问题啊

登峰大数据 2023-02-01

举报

回复

@jzg0de 微信号 bigdata_work

jzg0de 2022-01-05

打赏
举报

回复

微信群怎么加?

登峰大数据 2023-02-01

举报

回复

@jzg0de 微信号 bigdata_work

Αγάπη 2021-12-30

打赏
举报

回复

您好想问下在不考虑binlog的情况下请问streamsets可以同时的实时同步多个mysql数据库吗？如何实时监控到新建的数据库并直接进行数据同步呢？

登峰大数据 2023-02-01

举报

回复

@Αγάπη 微信号 bigdata_work

DeJunDE 2021-08-16

打赏
举报

回复

非常不错。说说我的体验。我有5年的架构师经验，但是大数据开发没有接触过。通过这个课程，我做了基于sdc的数据一体化开发和运维平台的方案，方案得到老板和多个客户的认同。有需要方案的，加我vx homesailing

chenzhihao 2021-07-08

打赏
举报

回复

StreamSets是一个很好的数据处理工具，无代码编程，功能强大。今天终于看了kudu课程了，特别棒，不仅有视频课，加李老师StreamSets微信群，还能一对一的解决线上问题。李老师认真负责，帮助我解决问题

折腾数据折腾代码 2021-06-23

打赏
举报

回复

very nice, 做的一个半离线画像数仓即时就用上了。

lol、蜗牛 2021-06-08

打赏
举报

回复

StreamSets是一个很好的数据处理工具，无代码编程，功能强大。今天终于看完全部课程了，特别棒，不仅有视频课，加李老师StreamSets微信群，还能一对一的解决线上问题。李老师认真负责，有的时候甚至自己上手帮助我解决问题。佩服这样的大佬

什么是StreamSetsData Collector? StreamSets Data Collector是一个轻量级、强大的设计和执行引擎，可以实时处理流数据。使用Data Collector器来路由和处理数据流中的数据。要定义数据流，需要在Data Collector中设计一个管道(pipeline)。管道由表示管道的起点和目的地的阶段以及希望执行的任何其他处理组成。在设计了管道之后，单击Start，Data Collector开始工作。 Data Collector在数据到达原点(orig.

上篇，我们介绍了五种传统 ETL 工具和八种数据同步集成工具。数据仓库详细介绍（五.ETL）工具篇上本篇，我们接着介绍两种新型 ETL 工具、大数据发展不同阶段产生的六种主要计算引擎、五种流程控制组件。最后我们简单讨论两个话题：这么多组件我们该如何抉择？如何快速将工具引入生产实践？0x01 新型 ETL 工具MapReduce 将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map 和 Reduce。

Apache Doris 构建的离线+实时数仓一体化，采用 SQL 开发，并用 Dolphinscheduler 一键部署调度，极大的降低开发难度和开发工作量，可进行快速迭代以满足目前行业日益增长的数据需求。新架构采用 Flink+Doris 的架构体系，FlinkCDC+StreamLoad 可以做到流批一体化数据接入，减少了组件的使用，解决了数据的冗余存储，服务器资源节省了 30%，数据存储磁盘占用减少 40%，同时组件的运维成本大大减少。

架构师要做的事情很多，不同的项目，不同的公司体量，不同的人员数量都会有不同的技术选型，进而形成不同的架构。在这里，我只想聊流批一体的实时数仓架构，不聊离线数仓架构，不聊Java架构 OR 微服务架构；聊更多的是架构思路，而不是某个技术的详细培训。...

而数据源多为业务系统，埋点日志，离线文件，第三方数据等。各种join、嵌套/标量子查询，强大的分析/窗口函数，变化无穷的正则表达式，层次查询，扩展分组，MODEL，递归with，多维分析，排列组合，行列互转，json解析，执行计划，四大类型(dql、dml、ddl、dcl)等，依然需要每个etl·er熟悉掌握。Kettle，中文名：水壶，是一款国外免费开源的、可视化的、功能强大的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。.........

李登峰的课程社区_NO_1

1

社区成员

90

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章