数据增量处理的问题！

laohao 2002-07-05 12:10:06

那位大侠做过数据增量处理的项目，或者手里有这方面的资料，交流一下。

...全文

161 18 打赏收藏转发到动态举报

写回复

用AI写文章

18 条回复

切换为时间正序

请发表友善的回复…

发表回复

Tommy Chang 2002-07-23

打赏
举报

听说过，跟CRC的方法一样，但问题是并不是从理论上能100%挑出变化的，因为crc也并不能包含字段的全部内容信息，不过有可能效果会不错

:)

bi2002 2002-07-22

打赏
举报

扫描整表应该是很慢，我在某个国外数据仓库站点看到过用一种循环冗余码的扫描整表的算法，是整张表进行扫描的，不但可以发现增量，连改动的都可以发现，这样问题是很好解决的，但不知道实际速度如何，我没具体研究实现过，有兴趣的可以深入钻研一下。好像无论动作，对旧系统的性能都有一定的影响吧。触发器、扫描表、同步复制等，都可以尝试一下。

zzjjww 2002-07-19

打赏
举报

关注中

laohao 2002-07-19

打赏
举报

谢谢各位！不知哪位仁兄手里有此类资料，共享可否？

Tommy Chang 2002-07-15

打赏
举报

呵呵，抛砖引玉。

rdbms中只有集合的概念，没有序列，当然更没有时间序列的概念，都是些加减并余补乘投影等运算。当初提rdbms的时候根本没有增量的概念

:)

yongwc 2002-07-15

打赏
举报

有没有比扫描整表更好一点的方法？如果可以在旧系统添加触发器也可以实现，不过，会影响旧系统性能。

blueskycn 2002-07-15

打赏
举报

现在好像也没有多少方法，
INMON书上提到的几个，比较，时间字段，整体读取，仿佛也就这些了
如果单就仓库一方面来考虑
但如果仓库跟操作型系统一起设计的时候
或者操作型系统多考虑仓库的时候，会好些
可惜这样的系统我是没看到过

given 2002-07-15

打赏
举报

:)

概念性的东西很多都是人定的，从rdbms来说也没有必要提序列等概念，这只不过我们在做项目时根据实际情况而提出来的。这只不过是个代名词，并没有什么太大的讨论目的。

：）

given 2002-07-13

打赏
举报

我这里的新数据的概念是：数据仓库（数据集市）里面增加了从业务系统里面抽取过来以前没有的那部分数据。
旧数据是我们已经已经从业务系统抽取过来的保存在数据仓库中的那部分数据。

cxgtommy:不知道这样说有没有问题。。。
:)

yongwc 2002-07-12

打赏
举报

问题是，很多旧系统设计的时候根本没有考虑到会有这种抽取问题，现在又不能改动旧的系统，这种情况下，如果做增量呢？不一定要是很好的方法，自要能够实现，并且尽可能好就行了，大家想想，我一直在考虑

Tommy Chang 2002-07-12

打赏
举报

从关系型数据库角度来看，无所谓新旧之分，这是历史问题。什么叫新数据，什么叫旧数据？

:)

given 2002-07-12

打赏
举报

同意yongwc的看法，我也在想这样的问题。但是我觉得除了时间和状态标志之外，一般的业务数据系统应该不会在提供其他能够实现增量方式。个人认为，既然是增量就是对一些以前没有出现的数据从新抽取进来。这点绝大部分应该是从纵观角度分析，如果这样的话，那最可行的方法就只能是时间。另一种就是根据业务系统存在一个类似自动编号的字段。

对于其他关注中。。。