难度比较大的数据整合问题,看有人会吗?
1. 多个SQL数据源,但是所有这些数据源的schema都是一样的,数据不一样,但是有可能存在重复。
2. 多个数据源的数据要拷贝到同一个目标数据库,要涉及到数据的整合去重。
3. 数据源的个数可能以后会有添加。
4. 数据源分布在多个域上,也就是说会涉及到跨域访问的问题。
5. 每个源的数据增长速度可能不完全相同,有的可能会非常快。
6. 数据同步是单向的,只有多个源到同一个目标。目标不会有任何改动。
7.源数据的更改必须能同步到目标,也就是说对于已经同步过的数据在源系统做了修改,那需要重新同步。
目前考虑个的两个方案,一个是SQL replication另外一个是SSIS+BCP,似乎都不能很好地满足要求。
SQL replcation方案在多个源re-initialization会造成目标数据库的数据被重写,丢掉从其他源过来的数据,另外跨域访问好像也有问题。
SSIS+BCP似乎不能很好地满足第七条,求高手支招,在这个板块级别太低只能给100分了。
相关推荐
leetcode感觉难度大-the-ultimate-ds-algorithms-checklist:练习数据结构和算法问题的问题清单
leetcode 难度大终极数据结构和算法清单 我在这里看什么? 该存储库以 Trello 检查表的形式收集了一系列数据结构和算法问题,适用于最艰难的面试。 清单包含指向解释解决方案的资源的链接。 是给谁的? 我打算将其作为入门级开发人员、为技术面试练习的大学本科生或只想复习 DS Algo 的人的资源。 我们真的需要这个吗? 随着 LeetCode、HackerRank、GeeksForGeeks、Interview Bit 等网站的出现,有人可能会认为它的存在无关紧要。 嗯...我总是发现这些网站上的策展有些偏离。 他们拥有的问题清单并不详尽。 所以你不知道什么时候该停下来,或者它看起来像是完成所有这些 Q 的不可分割的任务。 即使存在一个详尽的列表,它也不会被分成更多的子主题。 就像您永远无法确定是否涵盖了所有基地。 有时,内容会被付费专区屏蔽。 其他时候,您会不断看到问题在不同的包装中重复。 此外,清单也更令人满意。 浏览核对清单 这将是我一直在吹捧的 trello 模板: 使用 TRELLO 要开始,只需单击 trello 链接上的“从模板创建板”。 难度标签:我在卡片上添加
leetcode感觉难度大-LeetChill:隐藏难度的WebExtension显示在LeetCode上
leetcode 难度大利特寒 创建时间:2017 年 2 月 上可用。 LeetChill 是一个 WebExtension,它隐藏了 LeetCode 上的难度级别和接受率。 这样做的目的是为了避免被评级困难的问题吓倒。 我瞄准无缝与页面整合的变化,使之觉得好象是为了在那里。 有一个类似的扩展,但不幸的是它只适用于 Chrome。 此外,本来可以创建一个 AdBlock 过滤器来消除这一点,但我想探索编写浏览器扩展的领域,这似乎是一种让我的脚湿透的相对简单的方法。
怎么解决爬架施工监管难度大的问题?.docx
怎么解决爬架施工监管难度大的问题?.docx
MFC黑白棋,可以调整难度,界面比较优美
vc做的五子棋,可以调整难度,界面比较优美
SSH三大框架整合完成的项目
S2SH三框架整合,已经整合好的三大框架项目,可以直接更改数据源后使用


community_281
