有做.NET的ETL设计的案例吗？

刘小安 2017-04-01 10:11:06

我现在做ETL，能做增量添加，但是对于数据的更新，这个怎么处理呢？数据量是非常大的，而且对于数据的更新也是很大，但是现在没有一个好的设计方法，来这里求助来了。谢谢

我只有25分可用了。。。

...全文

767 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

angel6709 2017-04-01

打赏
举报

回复

etl 用kettle

.neter 人员大数据处理框架终于来了。ETL.NET 是一个完全用 .NET 编写的开源框架，可用于多平台使用，并可直接集成到任何 .NET 应用程序中。

几款开源的ETL工具及ELT初探转：http://bigdata.51cto.com/art/201702/530998.htm ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端...

一：为什么做etl？我们使用etl的目的是为了让我们的数据更加的干净，就像我们做饭一样，如果拿过来的菜，不做清洗的话，会非常影响食欲。二：etl怎么做？ 1. 常用的sql （1）trim 将字符串首尾去空。遇到string...

在实际业务场景中，我们在对数据处理时会先对...在该案例中我们要实现的是员工表数据中只留下部门编号为d01的数据。可以看到只有部门为d01的数据留下来了，符合预期结果。这样就简单地实现了ETL中地数据清洗过程。...

Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此...本文将介绍如何使用 Flink 开发实时 ETL 程序，并介绍 Flink 是如何保证其 Exactly-once 语义的。 ...

110,534

社区成员

642,575

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章