课程名称适应人群构建实时数仓的流批一体ETL工具-Streamsets大数据开发工程师、大数据分析师、数据架构师、ETL工程师 本课程来自一线项目(实时数仓建设)。创建实时数仓，是当前很多公司的需求，如何搭建实时数仓的架构？实时数仓需要有实时同步数据

数据实时接入部分的视频已于昨晚录制完成，由于视频中涉及实现思路和实现代码都来自生产项目，且经过作者多次熬夜录制完成，所以这套视频需付费观看，介意的朋友请见谅。 具体说明如下： 1、《数据实时接入》这一模块的视频共20集，每集10-25分钟； 2、加微

课时名称课时知识点项目案例分享2--复杂json数组的数据处理及入库使用SDC解决kafka中的嵌套复杂json数组，并入库。

课时名称课时知识点SDC实战-监控预警2度量规则(错误记录条数)预警理解度量规则预警；会配置度量规则预警

课时名称课时知识点SDC实战-监控预警3数据规则(某字段出现小于0的值)预警理解数据规则预警；会配置数据规则预警

课时名称课时知识点项目案例分享3--以流处理的方式实现复杂业务逻辑的增量计算在SDC中以流处理的方式实现增量计算，处理复杂的业务逻辑

课时名称课时知识点SDC实战-自定义组件开发实战自定义组件开发、安装、部署实战；

课时名称课时知识点SDC实战-监控预警4schema改变触发预警7X24小时运行的pipeline，运行过程中发生错误如何以邮件形式发出通知？

课时名称课时知识点项目案例分享1--复杂json对象数据处理及入库使用SDC解析复杂json对象，嵌套json数据，并入库。

课时名称课时知识点SDC实战-CRUD微服务实战如何使用Streamsets开发一个增删改查的微服务？

课时名称课时知识点SDC实战--监控预警1配置邮件发送功能学会配置邮件发送功能，为实现后面课程中的预警监控功能做准备。

课时名称课时知识点SDC实战-基于Hive的数据漂移同步解决方案源头数据表增加字段，如何实时同步到Hive表中？

课时名称课时知识点SDC实战-pipeline编排调度设计数仓分层建设，每层都会有对应的pipeline，如何编排调度这些pipeline按数仓分层运行？如何指定运行频率？

课时名称课时知识点SDC实战--Postgre CDC实战(格式化CDC数据)创建pipeline实时获取postgresql的CDC数据，从指定offset开始消费。

课时名称课时知识点SDC实战--PostgreSql To Mysql全量同步使用JDBC Consumer 和 JDBC Producer数据库操作组件，在postgreSql数据库和Mysql数据库之间同步数据。

课时名称课时知识点SDC实战-pipeline中的表达式语言梳理并总结pipeline开发中常用的表达式语言。

课时名称课时知识点SDC实战-Postgres To Mysql多表同步一个pipeline同步一批表，动态设置表名称；在pipeline中如何增加字段，以匹配目标表？

课时名称课时知识点SDC实战--CDC实战(Mysql CDC+Kudu)CDC pipeline开发及调试方法；嵌套字段的获取及kudu upsert操作。

课时名称课时知识点SDC实战-Postgresql To Mysql增量同步如何按指定字段增量同步数据？如何在pipeline运行之前做前置操作、运行完成之后做后置操作？

课时名称课时知识点SDC实战--MySQL DDL变化监控创建pipeline监控MySQL表结构的变化。

课时名称课时知识点Streamsets DC实战-Hello World pipeline通过创建第一个pipeline，学会创建pipeline的基本步骤，了解工作台布局及功能按钮。