CSDN论坛 > MS-SQL Server > 疑难问题

急!请问如何处理大数据量的数据采集及同步。 [问题点数:0分]

Bbs1
本版专家分:0
结帖率 100%
CSDN今日推荐
Bbs12
本版专家分:374376
Blank
状元 2003年 总版技术专家分年内排行榜第一
Blank
金牌 2003年11月 总版技术专家分月排行榜第一
2003年10月 总版技术专家分月排行榜第一
2003年8月 总版技术专家分月排行榜第一
2003年6月 总版技术专家分月排行榜第一
2003年5月 总版技术专家分月排行榜第一
2003年4月 总版技术专家分月排行榜第一
2003年3月 总版技术专家分月排行榜第一
Blank
银牌 2003年9月 总版技术专家分月排行榜第二
2003年7月 总版技术专家分月排行榜第二
2003年2月 总版技术专家分月排行榜第二
Blank
铜牌 2003年1月 总版技术专家分月排行榜第三
2002年12月 总版技术专家分月排行榜第三
Bbs10
本版专家分:102159
Blank
铜牌 2003年12月 总版技术专家分月排行榜第三
Blank
黄花 2004年1月 MS-SQL Server大版内专家分月排行榜第二
2003年12月 MS-SQL Server大版内专家分月排行榜第二
2003年10月 MS-SQL Server大版内专家分月排行榜第二
2003年9月 MS-SQL Server大版内专家分月排行榜第二
Blank
蓝花 2004年2月 MS-SQL Server大版内专家分月排行榜第三
2003年11月 MS-SQL Server大版内专家分月排行榜第三
Bbs10
本版专家分:102159
Blank
铜牌 2003年12月 总版技术专家分月排行榜第三
Blank
黄花 2004年1月 MS-SQL Server大版内专家分月排行榜第二
2003年12月 MS-SQL Server大版内专家分月排行榜第二
2003年10月 MS-SQL Server大版内专家分月排行榜第二
2003年9月 MS-SQL Server大版内专家分月排行榜第二
Blank
蓝花 2004年2月 MS-SQL Server大版内专家分月排行榜第三
2003年11月 MS-SQL Server大版内专家分月排行榜第三
Bbs3
本版专家分:570
Bbs8
本版专家分:37724
Bbs14
本版专家分:884060
Blank
名人 年度总版至少三次排名前十即授予名人勋章
Blank
状元 2005年 总版技术专家分年内排行榜第一
2004年 总版技术专家分年内排行榜第一
Blank
进士 2006年 总版技术专家分年内排行榜第六
2003年 总版技术专家分年内排行榜第八
Blank
金牌 2005年6月 总版技术专家分月排行榜第一
2005年5月 总版技术专家分月排行榜第一
2005年4月 总版技术专家分月排行榜第一
2005年3月 总版技术专家分月排行榜第一
2005年2月 总版技术专家分月排行榜第一
2005年1月 总版技术专家分月排行榜第一
2004年12月 总版技术专家分月排行榜第一
2004年11月 总版技术专家分月排行榜第一
2004年10月 总版技术专家分月排行榜第一
2004年9月 总版技术专家分月排行榜第一
2004年8月 总版技术专家分月排行榜第一
2004年7月 总版技术专家分月排行榜第一
2004年6月 总版技术专家分月排行榜第一
2004年5月 总版技术专家分月排行榜第一
2004年4月 总版技术专家分月排行榜第一
2004年3月 总版技术专家分月排行榜第一
2004年1月 总版技术专家分月排行榜第一
2003年12月 总版技术专家分月排行榜第一
Bbs1
本版专家分:0
Bbs9
本版专家分:96845
Blank
黄花 2003年8月 MS-SQL Server大版内专家分月排行榜第二
2003年7月 MS-SQL Server大版内专家分月排行榜第二
2003年4月 MS-SQL Server大版内专家分月排行榜第二
2003年3月 MS-SQL Server大版内专家分月排行榜第二
2003年2月 MS-SQL Server大版内专家分月排行榜第二
2002年12月 MS-SQL Server大版内专家分月排行榜第二
2002年11月 MS-SQL Server大版内专家分月排行榜第二
Blank
蓝花 2003年6月 MS-SQL Server大版内专家分月排行榜第三
2003年1月 MS-SQL Server大版内专家分月排行榜第三
匿名用户不能发表回复!
其他相关推荐
大数据量下高并发同步的解决方案
大数据量下高并发同步的讲解(不看,保证你后悔)      对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发访问问题了。而并发问题是绝大部分的程序员头疼的问题, 但话又说回来了,既然逃避不掉,那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧。    为了更好的理解并发和同步,我们需要先明白两个重要的概念:同步和异步    1、同步和异步的区别
oracle 处理大数据量问题
1. 采用高速的存储设备,提高读写能力,如:EMC 和NetApp,   2. 假如tab1表中的没有数据的话  DROP   TABLE   TAB1; CREATE   TABLE   TAB1   AS   SELECT   *   FROM   TAB2; 然后在创建索引   3. 用Hint 提示减少操作时间     INSERT   /*+Append*/   INT
大数据量的五种处理方式
 http://www.51projob.com/a/bishimianshi/hailiangshuju/2012/0322/111.html 处理海量数据问题,无非就是: 分而治之/hash映射 + hash统计 + 堆/快速/归并排序; Bloom filter/Bitmap;Trie树/数据库/倒排索引;外排序;分布式处理之hadoop/mapreduce。
如何处理大数据量的查询
在实际的任何一个系统中,查询都是必不可少的一个功能,而查询设计的好坏又影响到系统的响应时间和性能这两个关键指标,尤其是当数据量变得越来越大时,于是如何处理大数据量的查询成了每个系统架构设计时都必须面对的问题。本文将从数据及数据查询的特点分析出发,结合讨论现有各种解决方案的优缺点及其适用范围,来阐述J2EE平台下如何进行查询框架的设计。Value List Handler模式及其局限性在J2EE应用
Hibernate大数据量处理,大量数据处理代码优化方法概念(转载)
1) 在处理大数据量时,会有大量的数据缓冲保存在Session的一级缓存中,这缓存大太时会严重显示性能,所以在使用Hibernate处理大数据量的,可以使用session.clear()或者session. Evict(Object) 在处理过程中,清除全部的缓存或者清除某个对象。  2) 对大数据量查询时,慎用list()或者iterator()返回查询结果,  1. 使用List()返回结
大数据量、高并发量网站解决方案
一个小型的网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统架构、性能的要求都很简单。随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉及面非常广,从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要
大数据技术-数据采集-Flume.logstash等
随着大数据越来越被重视,数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台: Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台,一般包括以下的几个过程: 数据采集-->数据存储-->数据处理-->数据展现(可视化,报表和监控) 其中,数据采集是
大数据量快速处理的架构设计
在业务数据的处理过程中,经常会遇到夜间批次处理大量的数据,而且会有时效的要求。特别是当应用系统跑了2年以上时,就会有大表或者特大表的操作了,数据量达到百万甚至上亿。 这时回顾前期的设计,就会发现好多问题。 可能是数据模型设计的时候没有考虑表的分区和及时归档、sql的设计没有考虑索引或全表扫描、数据的处理没有考虑及时的分批切分、并发处理的多线程可配置化等等, 为了以后的设计不要走相同的错路。这里暂时
项目开发中,大数据量的增删改查的若干解决方法
近期,一直在做一个基于SSH2框架的ERP项目,也算得上是自己的处女作,趁晚上有时间,分享一下。       自从有了SSH等这样的框架之后,越来越多的java开发人员喜欢使用框架来做开发,其中hibernate便是最经常被用到的框架之一,有了它,可以让开发人员省去很多气力写琐屑的代码段,用JDBC去做数库中的CRUD操作,当项目很小,数据量不大时候,还可以接受,当数据量了上10万级别,很多时候
大数据量一般解决办法
转自:http://blog.csdn.net/wchyumo2009/article/details/8738639 感谢原作者 处理海量数据问题,无非就是: 分而治之/hash映射 + hash统计 + 堆/快速/归并排序; Bloom filter/Bitmap;Trie树/数据库/倒排索引;外排序;分布式处理之hadoop/mapreduce。 本文接下来的
关闭