急！请问如何处理大数据量的数据采集及同步。

xiaohei 2003-10-09 07:29:18
在居民身份证系统中如何处理各地州市数据库和省数据库的数据采集及变更数据的同步。
...全文
128 4 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
dldl 2003-12-12
  • 打赏
  • 举报
 回复
我同意用触发器，这样人为的改动会很少，按照触发器里面的运行就可以了。
zyg9108 2003-12-12
  • 打赏
  • 举报
 回复
up
kuangsha007 2003-10-09
  • 打赏
  • 举报
 回复
定期用个DTS导一下
kuangsha007 2003-10-09
  • 打赏
  • 举报
 回复
用触发器吧
将变更的记录存到一个临时表里，
更新同步的时候，同步临时表里的记录就可以了。
数据中台之数据采集
采集方式总览： 接口数据采集，数据源数据同步采集
大数据之路：数据同步
目录 1.数据同步基础 2.阿里数据仓库的同步方式 3.数据同步遇到的问题和解决方案 1.数据同步基础 大数据的数据同步主要包括从分布式业务系统同步进入数据仓库和数据从数据仓库同步进入数据应用和数据服务两个方面。本文主要讲述的是前者。 从业务系统同步数据到数据仓库的数据同步总的说来分为三种，直连同步(侵入式)，数据文件同步，数据库日志解析。 直连同步：通过JDBC方式直接连接源系统抽取数据，当数据量大时容易对数据库造成压力甚至拖垮数据库的性能。 数据文件同步：约定好数据文件的格式，编码，大小
【数据中台】学习摘录-数据采集
文章目录1. 数据采集1.1 日志采集1.2 数据同步1.2.1 批量数据同步1.2.2 实时数据同步1.3 数据同步遇到的问题与解决方案 1. 数据采集 1.1 日志采集 数据采集为大数据系统体系的第一环，建立一套标准的数据采集体系方案，可以全面、高性能、规范地完成海量数据的采集，并将其传输到大数据平台。数据采集分为日志采集和数据库同步两部分，其中日志采集主要指的是埋点数据，其数据来源可来自浏览器与无线客户端。 《阿里大数据之路》书中分享了两个案例，分别对应了两个思想。 日志分流与定制处理 考虑到阿里日
大数据之数据采集
大数据之数据采集 大数据体系一般分为：数据采集、数据计算、数据服务、以及数据应用 几大层次。 在数据采集层，主要分为 日志采集 和 数据源数据同步。 日志采集 根据产品的类型 又有可以分为： - 浏览器页面 的日志采集 - 客户端 的日志采集 浏览器页面采集： 主要是收集页面的 浏览日志（PV/UV等） 和 交互操作日志（操作事件）。 这些日志的采集，一般是在页面上植入标...
大数据（四）大数据采集
文章目录说明分享数据采集种类数据转换dataxSqoopflume数据传输kafkapulsarhdfs-over-ftp总结 2021-09-10 说明 本博客每周五更新一次。 数据处理分为入库、计算和输出，本文主要分享数据入库。 分享 大数据博客列表 数据采集 数据采集是大数据平台数据处理流程的第一步，如何让数据以合适的效率和方式在大数据平台落地，根据场景不同，有着不同方案。一般情况如下。 实时数据量巨大，要求绝对的效率，单位时间无法处理意味着数据丢失，一般这种情况下，源数据不做任何转换，如
C#

111,092

社区成员

642,554

社区内容

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • AIGC Browser
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章