大数据

ninini1996 2017-10-17 04:39:00
请问如下代码我打叹号那里是什么意思啊
Create Produce EALAH_XXXX
Beging

//1. 创建和全量历史目标表同构的临时表
Create temp table TE;

//2. 从查询转换源数据,将结果集插入到和全量目标表同构的临时表中
Insert into TE
(
Fid,
FA,
FB,
FC
)
values
(
Selct
A.id as Fid,
A.A as FA,
A.B as FB,
A.C as FC
From
A
)

//3.创建存放从上次ETL以来变化前、被删除的集合的临时表
Create temp table UDE;

//4.对比查询从上次ETL以来变化前、被删除的集合,存放到临时表中
Insert UDE
(
Id,
A,
B,
C
)
Values
Select
Id,
A,
B,
C
From E
where
ID in
(
select id from TE //变化数据
!!!!!where TE.A<>E.A
or TE.B<>E.B
or TE.C<>E.C!!!!

union all
select id from E
where
ID not in (select id from TE) //删除的数据
)
...全文
255 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ? DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。 DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;2、支持丰富的任务类型;3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;4、支持工作流全局参数及节点自定义参数设置;5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;7、支持补数,并行或串行回填数据。课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。 DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。

6,721

社区成员

发帖
与我相关
我的任务
社区描述
专题开发/技术/项目 Google技术社区
社区管理员
  • Google技术社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧