难度比较大的数据整合问题,看有人会吗?
这个方案应该能满足以下的要求
1. 多个SQL数据源,但是所有这些数据源的schema都是一样的,数据不一样,但是有可能存在重复。
2. 多个数据源的数据要拷贝到同一个目标数据库,要涉及到数据的整合去重。
3. 数据源的个数可能以后会有添加。
4. 数据源分布在多个域上,也就是说会涉及到跨域访问的问题。
5. 每个源的数据增长速度可能不完全相同,有的可能会非常快。
6. 数据同步是单向的,只有多个源到同一个目标。目标不会有任何改动。
7.源数据的更改必须能同步到目标,也就是说对于已经同步过的数据在源系统做了修改,那需要重新同步。
目前考虑个的两个方案,一个是SQL replication另外一个是SSIS+BCP,似乎都不能很好地满足要求。
SQL replcation方案在多个源re-initialization会造成目标数据库的数据被重写,丢掉从其他源过来的数据,另外跨域访问好像也有问题。
SSIS+BCP似乎不能很好地满足第七条,求高手支招,在这个板块级别太低只能给100分了。