急！请问如何处理大数据量的数据采集及同步。-CSDN论坛

CSDN论坛 > .NET技术 > C#

急！请问如何处理大数据量的数据采集及同步。 [问题点数：100分，结帖人xiaohei]

⋅急！如何等分椭圆！ ⋅请教！把一个矩形做变形后（旋转、缩放、平移），怎么获得新的顶点坐标。 ⋅欢迎讨论：怎样以图形（例如矩形）的中心点作缩放、旋转！ 更多帖子 关注空间博客 xiaohei 本版专家分：234 结帖率 100%: 0 2003-10-09 19:29:18 回复次数4

引用・举报・楼主

在居民身份证系统中如何处理各地州市数据库和省数据库的数据采集及变更数据的同步。

问题点数：100分

CSDN今日推荐

⋅超简单问题，送分 ⋅分多的没地方用，也散散。 ⋅求B/s下GIS解决方案 更多帖子 关注空间博客 7:23 本版专家分：4742: 0 2003-10-09 19:52:13

引用・举报・ #1 得分：10

用触发器吧
将变更的记录存到一个临时表里，
更新同步的时候，同步临时表里的记录就可以了。

⋅超简单问题，送分 ⋅分多的没地方用，也散散。 ⋅求B/s下GIS解决方案 更多帖子 关注空间博客 7:23 本版专家分：4742: 0 2003-10-09 19:52:51

引用・举报・ #2 得分：5

定期用个DTS导一下

zyg9108 本版专家分：1653: 0 2003-12-12 18:34:03

引用・举报・ #3 得分：80

up

⋅为什么不能在客户端运行快捷方式？ ⋅jordano7832近来领分 ⋅求AspxGrid组件 更多帖子 关注空间博客 做饭我一直用雕牌 本版专家分：3338: 0 2003-12-12 18:39:18

引用・举报・ #4 得分：5

我同意用触发器，这样人为的改动会很少，按照触发器里面的运行就可以了。

收藏帖子

注册

其他相关推荐

java web开发高并发系列（2）--- 大数据量下高并发同步的讲解: 对于我们开发的网站，如果网站的访问量非常大的话，那么我们就需要考虑相关的并发访问问题了。而并发问题是绝大部分的程序员头疼的问题，但话又说回来了，既然逃避不掉，那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧。为了更好的理解并发和同步，我们需要先明白两个重要的概念:同步和异步 1、同步和异步的区别和联系所谓同步，可以理解为在

多线程采集数据处理怎样同步才能达到不漏采数据同时处理效率最优？: 解释1:你可以把数据放到队列，每次采集到数据就放入队列，这样后面采集的，就是新增到队列，而分析线程等就是到队列中一个个读取。解释2：仅供参考：C/C++ code?1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636...

怎样提高WebService性能大数据量网络传输处理(转): 1. 直接返回DataSet对象特点：通常组件化的处理机制，不加任何修饰及处理；优点：代码精减、易于处理，小数据量处理较快；缺点：大数据量的传递处理慢，消耗网络资源；建议：当应用系统在内网、专网（局域网）的应用时，或外网（广域网）且数据量在KB级时的应用时，采用此

oracle 处理大数据量问题: 1. 采用高速的存储设备,提高读写能力，如：EMC 和NetApp， 2. 假如tab1表中的没有数据的话 DROP TABLE TAB1; CREATE TABLE TAB1 AS SELECT * FROM TAB2; 然后在创建索引 3. 用Hint 提示减少操作时间 INSERT /*+Append*/ INT

大并发大数据量请求的处理方法: 大并发大数据量请求一般会分为几种情况： 1.大量的用户同时对系统的不同功能页面进行查找，更新操作 2.大量的用户同时对系统的同一个页面，同一个表的大数据量进行查询操作 3.大量的用户同时对系统的同一个页面，同一个表进行更新操作对于第一种情况一般处理方法如下：一。对服务器层面的处理 1. 调整IIS 7应用程序池队列长度由原来的默认1000改

大数据技术-数据采集-Flume.logstash等: 随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集任何完整的大数据平台，一般包括以下的几个过程：数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控) 其中，数据采集是

php处理大数据量数据的思路: 大数据量的业务场景：excel 导出百万数据，操作百万数据的数组，从数据库表中取出百万数据。两个解决思路:1.从环境配置上，比如调高php脚本的内存限制。ini_set('memory_limit','');2.从代码层面，比如前两种，都是数据先写到内存后输出，大数据量的情况下，内存非常容易写爆。解决思路就是分批次处理。excel导出解决方案可以看我之前博文，有相应的代码示例。操作...

大数据量一般解决办法: 转自：http://blog.csdn.net/wchyumo2009/article/details/8738639 感谢原作者处理海量数据问题，无非就是：分而治之/hash映射 + hash统计 + 堆/快速/归并排序； Bloom filter/Bitmap；Trie树/数据库/倒排索引；外排序；分布式处理之hadoop/mapreduce。本文接下来的

记一次大数据量处理性能调优的过程总结: 背景介绍 * 1、系统的架构是spring+mybaties+oracle。* * 2、系统的数据量在五十万到百万级之间，采用了kafka进行分布式处理，主要功能和要优化的点在数据清算模块和数据导出模块。* 技术点简介 * 1、kafka–分布式订阅-发布消息系统 * - kafka是一款可靠、可扩展、高性能的消息系统，具体介绍可以看Kafka简介，这篇文章写的很不错。 - 在本系...

项目开发中，大数据量的增删改查的若干解决方法: 近期，一直在做一个基于SSH2框架的ERP项目，也算得上是自己的处女作，趁晚上有时间，分享一下。自从有了SSH等这样的框架之后，越来越多的java开发人员喜欢使用框架来做开发，其中hibernate便是最经常被用到的框架之一，有了它，可以让开发人员省去很多气力写琐屑的代码段，用JDBC去做数库中的CRUD操作，当项目很小，数据量不大时候，还可以接受，当数据量了上10万级别，很多时候

关闭

关闭