社区
疑难问题
帖子详情
急!请问如何处理大数据量的数据采集及同步。
xiaohei
2003-10-09 07:28:33
在居民身份证系统中如何处理各地州市数据库和省数据库的数据采集及变更数据的同步。
...全文
365
8
打赏
收藏
急!请问如何处理大数据量的数据采集及同步。
在居民身份证系统中如何处理各地州市数据库和省数据库的数据采集及变更数据的同步。
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
8 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
CrazyFor
2003-10-12
打赏
举报
回复
这样的同步最好有你手动来控制,定期接收文本文档的数据,在导入到你的总库中.
xiaohei
2003-10-12
打赏
举报
回复
自己顶一下
zjcxc
2003-10-10
打赏
举报
回复
用SQL自己的发布/订阅
leimin
2003-10-10
打赏
举报
回复
pls:
http://expert.csdn.net/Expert/topic/2313/2313923.xml?temp=.3205835
leus
2003-10-09
打赏
举报
回复
大力的回答好象不是楼主问的
银行的做法好像是有中心交换数据库的,
可以把各省或地区分在不同的库中,
通过规则直接找到要对哪里进行操作
还有改动的备份和恢复,要考虑数据的完整性和连续性
呵呵,我也在学习
txlicenhe
2003-10-09
打赏
举报
回复
参考
http://expert.csdn.net/Expert/topic/2328/2328585.xml?temp=.7478296
txlicenhe
2003-10-09
打赏
举报
回复
好象跟银行联网差不多。
pengdali
2003-10-09
打赏
举报
回复
利用数据库复制技术 实现数据同步更新
复制的概念
复制是将一组数据从一个数据源拷贝到多个数据源的技术,是将一份数据发布到多个存储站点上的有效方式。使用复制技术,用户可以将一份数据发布到多台服务器上,从而使不同的服务器用户都可以在权限的许可的范围内共享这份数据。复制技术可以确保分布在不同地点的数据自动同步更新,从而保证数据的一致性。
SQL复制的基本元素包括
出版服务器、订阅服务器、分发服务器、出版物、文章
SQL复制的工作原理
SQL SERVER 主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器,负责发表数据。出版服务器把要发表的数据的所有改变情况的拷贝复制到分发服务器,分发服务器包含有一个分发数据库,可接收数据的所有改变,并保存这些改变,再把这些改变分发给订阅服务器
SQL SERVER复制技术类型
SQL SERVER提供了三种复制技术,分别是:
1、快照复制(呆会我们就使用这个)
2、事务复制
3、合并复制
只要把上面这些概念弄清楚了那么对复制也就有了一定的理解。接下来我们就一步一步来实现复制的步骤。
第一先来配置出版服务器
(1)选中指定[服务器]节点
(2)从[工具]下拉菜单的[复制]子菜单中选择[发布、订阅服务器和分发]命令
(3)系统弹出一个对话框点[下一步]然后看着提示一直操作到完成。
(4)当完成了出版服务器的设置以后系统会为该服务器的树形结构中添加一个复制监视器。同时也生成一个分发数据库(distribution)
第二创建出版物
(1)选中指定的服务器
(2)从[工具]菜单的[复制]子菜单中选择[创建和管理发布]命令。此时系统会弹出一个对话框
(3)选择要创建出版物的数据库,然后单击[创建发布]
(4)在[创建发布向导]的提示对话框中单击[下一步]系统就会弹出一个对话框。对话框上的内容是复制的三个类型。我们现在选第一个也就是默认的快照发布(其他两个大家可以去看看帮助)
(5)单击[下一步]系统要求指定可以订阅该发布的数据库服务器类型,SQLSERVER允许在不同的数据库如 ORACLE或ACCESS之间进行数据复制。但是在这里我们选择运行"SQL SERVER 2000"的数据库服务器
(6)单击[下一步]系统就弹出一个定义文章的对话框也就是选择要出版的表
(7)然后[下一步]直到操作完成。当完成出版物的创建后创建出版物的数据库也就变成了一个共享数据库。
第三设计订阅
(1)选中指定的订阅服务器
(2)从[工具]下拉菜单中选择[复制]子菜单的[请求订阅]
(3)按照单击[下一步]操作直到系统会提示检查SQL SERVER代理服务的运行状态,执行复制操作的前提条件是SQL SERVER代理服务必须已经启动。
(4)单击[完成]。完成订阅操作。
完成上面的步骤其实复制也就是成功了。但是如何来知道复制是否成功了呢?这里可以通过这种方法来快速看是否成功。展开出版服务器下面的复制——发布内容——右键发布内容——属性——击活——状态然后点立即运行代理程序接着点代理程序属性击活调度把调度设置为每一天发生,每一分钟,在0:00:00和23:59:59之间。接下来就是判断复制是否成功了打开C:\Program Files\Microsoft SQL Server\MSSQL\REPLDATA\unc\XIAOWANGZI_database_database下面看是不是有一些以时间做为文件名的文件夹差不多一分中就产生一个。要是你还不信的话就打开你的数据库看在订阅的服务器的指定订阅数据库下看是不是看到了你刚才所发布的表
数据中台之
数据采集
采集方式总览: 接口
数据采集
,数据源数据
同步
采集
大数据
之路:数据
同步
目录 1.数据
同步
基础 2.阿里数据仓库的
同步
方式 3.数据
同步
遇到的问题和解决方案 1.数据
同步
基础
大数据
的数据
同步
主要包括从分布式业务系统
同步
进入数据仓库和数据从数据仓库
同步
进入数据应用和数据服务两个方面。本文主要讲述的是前者。 从业务系统
同步
数据到数据仓库的数据
同步
总的说来分为三种,直连
同步
(侵入式),数据文件
同步
,数据库日志解析。 直连
同步
:通过JDBC方式直接连接源系统抽取数据,当数据
量
大时容易对数据库造成压力甚至拖垮数据库的性能。 数据文件
同步
:约定好数据文件的格式,编码,大小
【数据中台】学习摘录-
数据采集
文章目录1.
数据采集
1.1 日志采集1.2 数据
同步
1.2.1 批
量
数据
同步
1.2.2 实时数据
同步
1.3 数据
同步
遇到的问题与解决方案 1.
数据采集
1.1 日志采集
数据采集
为
大数据
系统体系的第一环,建立一套标准的
数据采集
体系方案,可以全面、高性能、规范地完成海
量
数据的采集,并将其传输到
大数据
平台。
数据采集
分为日志采集和数据库
同步
两部分,其中日志采集主要指的是埋点数据,其数据来源可来自浏览器与无线客户端。 《阿里
大数据
之路》书中分享了两个案例,分别对应了两个思想。 日志分流与定制
处理
考虑到阿里日
大数据
之
数据采集
大数据
之
数据采集
大数据
体系一般分为:
数据采集
、数据计算、数据服务、以及数据应用 几大层次。 在
数据采集
层,主要分为 日志采集 和 数据源数据
同步
。 日志采集 根据产品的类型 又有可以分为: - 浏览器页面 的日志采集 - 客户端 的日志采集 浏览器页面采集: 主要是收集页面的 浏览日志(PV/UV等) 和 交互操作日志(操作事件)。 这些日志的采集,一般是在页面上植入标...
大数据
(四)
大数据
采集
文章目录说明分享
数据采集
种类数据转换dataxSqoopflume数据传输kafkapulsarhdfs-over-ftp总结 2021-09-10 说明 本博客每周五更新一次。 数据
处理
分为入库、计算和输出,本文主要分享数据入库。 分享
大数据
博客列表
数据采集
数据采集
是
大数据
平台数据
处理
流程的第一步,如何让数据以合适的效率和方式在
大数据
平台落地,根据场景不同,有着不同方案。一般情况如下。 实时数据
量
巨大,要求绝对的效率,单位时间无法
处理
意味着数据丢失,一般这种情况下,源数据不做任何转换,如
疑难问题
22,300
社区成员
121,734
社区内容
发帖
与我相关
我的任务
疑难问题
MS-SQL Server 疑难问题
复制链接
扫一扫
分享
社区描述
MS-SQL Server 疑难问题
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章