多个数据库同步数据问题

[b哈利路亚d]

有个问题，每个地市有自己独立的子系统。省级有一个省级系统。
省级系统数据是各个地市系统的集合。
所以希望定时同步个地市信息。
先说下自己的想法。
每次删除全部省级数据库数据。
各地市导出数据到csv文件。
然后提交到省级。
读取csv文件，全部插入操作。
这样省了判断数据问题，效率可能比较高吧。。。
数据量较大，可能各地市数据都近10万。
请教解决方案。
推荐中间件也可以，要求，同步数据是，服务器不能卡死。
系统因为已经开始运营，所以改设计的方案就免了。。。
还望老大们提点。

[yagebu1983]

关注+学习！！

[yh4130a]

没明白，为什么省数据会删除？数据不重要么？
而且市数据来就插入，不存在增量的问题？

个人认为 只能写个服务跑。


可以去参考 Timesten与Oracle数据同步的处理。

[CathySun118]

三种方式:
1. 如果能保障网络稳定性及传输带宽,使用sql的发布/订阅,选择合并复制的方式.

2. 如果不能保障网络稳定性及传输带宽,自己根据实际情况写程序进行处理.

3. 如果各分点数据是独立的,不需要互相交互,能保障网络稳定性及传输带宽,可以直接在中心点建立一个数据库,为每个分点建立链接服务器,通过分区视图合并每个分点的数据.

[weiyue_net]

SQL2005 用 SQL Server Integration Services (SSIS)
SQL2000 用 Data Transformation Services (DTS)

网上查一下就知道该如何做了

[chengqscjh]

利用数据库复制技术 实现数据同步更新
复制的概念
复制是将一组数据从一个数据源拷贝到多个数据源的技术，是将一份数据发布到多个存储站点上的有效方式。使用复制技术，用户可以将一份数据发布到多台服务器上，从而使不同的服务器用户都可以在权限的许可的范围内共享这份数据。复制技术可以确保分布在不同地点的数据自动同步更新，从而保证数据的一致性。
SQL复制的基本元素包括
出版服务器、订阅服务器、分发服务器、出版物、文章
SQL复制的工作原理
SQL SERVER 主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器，负责发表数据。出版服务器把要发表的数据的所有改变情况的拷贝复制到分发服务器，分发服务器包含有一个分发数据库，可接收数据的所有改变，并保存这些改变，再把这些改变分发给订阅服务器
SQL SERVER复制技术类型
SQL SERVER提供了三种复制技术，分别是：
1、快照复制
2、事务复制
3、合并复制
-----------------------------
可以查下数据库同步问题

[周公]

[Quote=引用 4 楼 weiyue_net 的回复:]

SQL2005 用 SQL Server Integration Services (SSIS)
SQL2000 用 Data Transformation Services (DTS)

网上查一下就知道该如何做了
[/Quote]

这种做法比较省事。

[honkerhero]

推荐12楼的

[younglady]

好像發錯區了哦。
不過感覺不要刪數據的好。。設個狀態

[阿建像熊猫]

可以查下数据库同步问题

不太懂！帮你顶一下吧。希望搞定。

[b哈利路亚d]

嗯，学习了。
其实省级数据库是不录入数据的，他是各地数据库数据的一个综合。
使用这个数据库的系统也是只能浏览数据。所以他里面数据删除没有问题。
而且这里的同步其实也不是每天都同步，而且网络情况不明，所以初步考虑通过各地
提交数据文件解析实现。sql带的那种方式没有使用过，稳定性好吗？
昨天看了一下，中创的infobusEAI好像可以实现，有人使用过吗？
再听取写意见，晚上或明天结贴。
谢谢大家。

[2004v2004]

你这个情况我这里也是 没有好的方案 我是用sock 进行数据传输的 ，不怎么好，太费劲 不知道大家有什么更好的方案

[九章落地]

你每次把省级的数据删掉,再把市级数据同步上来插入,虽然插入的速度会加快,但同步的速度却会变慢,不可取呢!

较为可行的方法是,开发一个独立的EDI程序,负责省级数据库与市级数据库之间的数据交换.
1.数据交换EDI程序,可以选择Ftp或WebService作为数据交换技术.

2.市级数据库的数据改动后,由EDI定时(如每融10分钟)抓取相关数据以xml文档或其他文档的形式导出,上传给省级数据库.

3.省级数据库亦有一个EDI程序,定时导入市级上传的数据。


此种方案,对网络和带宽环境的要求不高,而且可以较及时地同步数据.

[sunke5843323]

一个就市级WebService发布数据，省级WindowService接收新产生数据

[net0003]

关注

[iamxia]

楼上说的没错，只要你指定执行时间（通常是半夜三更）就行了

[b哈利路亚d]

12楼的方式不可取，webservice的话，数据量过大很容易内存溢出的，而且传输也不稳定。
10万数据一个dataset不是好玩的，就算是文本传输也是很大的。所以才没有考虑。