mysql,数据量很大的问题 [问题点数:20分]

Bbs1
本版专家分:0
结帖率 0%
MySql 千万级数据量 查询很慢
-
数据量很大问题
有一个<em>数据量</em><em>很大</em>的表,我把他们分成了好多个表现在是我想修改表中的数据,这个时候应该怎么办呢!创建视图可不可以修改表中的数据呢!急谢谢!
mysql比较两张表,数据量很大
有两个表,一个T1 1400万条记录,一个T2 800万数据。rn字段有:rnname,address,longitude,latitudernrn现在我要从T1中选出T2中重复的 和不重复的。rnrn用程序怎么实现效率高? rnrnconst char* sql = "select name,address,longitude,latitude from T1";rnconst char* sql2 = "select name,address, longitude, latitude from T2";rnMYSQL <em>mysql</em>;rnMYSQL_RES *res,*res2;rnrn<em>mysql</em>_init(&<em>mysql</em>);rn<em>mysql</em>_real_connect(...);rn<em>mysql</em>_query(&<em>mysql</em>,sql,NULL,0);rnres = <em>mysql</em>_store_result(&<em>mysql</em>);rnrnwhile(row=<em>mysql</em>_fetch_row(res))rnrn[color=#FF0000] <em>mysql</em>_query(&<em>mysql</em>,sql2,NULL,0);rn res2 = <em>mysql</em>_store_result(&<em>mysql</em>);[/color] rn while(row=<em>mysql</em>_fetch_row(res2))rn rn ...//作比较rn rn <em>mysql</em>_free_result(res2); rnrn<em>mysql</em>_free_result(res);rnrnrn可是红色部分耗时比较长啊(不停的提交select请求),导致扫描1400万条数据需要很长时间rn(我通过多进程来分工,每个进程处理几百万数据,开始还很快每秒能处理1000多条数据,到后来<em>mysql</em>就负荷比较大,运行了15个小时才处理了120几万数据)。rn各位给些意见,不知道还有其他方法比较两张表没有????rn听说memcache能把<em>mysql</em>数据分布式的保存到多个机器的内存,读内存快得多,缓解了msyql查询压力。但感觉这样工程似乎太大了。我只不过就是比较两张表而已嘛。。。
查询数据量很大,超时
[img=http://hi.csdn.net/attachment/201008/23/3052345_12825478506ooc.jpg][/img]rnrn点击button按钮,调用数据库中的存储过程,执行查询操作,查询数据显示在datagrid中.出现上面的错误,rnrnrn在数据库中如果单单是执行存储过程,得出的结果也有十几万条, 那么前台调用存储过程,就造成查询超时,所以想请教大家如何有效的处理这个<em>问题</em>?
数据量很大的时候如何写搜索算法?
比如要搜索一个论坛的帖子标题,当标题数达一千万条的时候,如何写搜索算法?
表的数据量很大,怎么处理?
1、表结构有3个字段:ID,DATETIME, VALUErn2、每天会产生500万条记录,因此按天进行分表,表名TABLE_YYYYMMDD,也就是每天产生一个表来存储当天的数据。rnrn一年后产生了365个表,我想对整年记录的VALUE值进行排序,取排序后的记录中的任意一段连续的100条记录怎么查呢,是不是分表有<em>问题</em>?效率如何保证?求解!
数据量很大的Select语句如何写??
大家好!rn 我现在在数据库中有20000多条数据库,我想用Select语句包数据取出来进行分页显示,但是如果用普通的Select语句好象需要很长的时间,有时候甚至超时,请教大家,有什么好一点的办法,不浪费那么长的时间跟资源.谢谢!rn
关于数据量很大时的分页:
有个<em>问题</em>,就是当数据库中有1万条记录的时候,如何分页?数据库是sql server.rnrn
数据量很大,如何优化sql
有张流水历史表,<em>数据量</em>大概有一亿条,需要和流水表、流水月表联合查询,目前历史表我是按分区来查,但是查询时间还是超过1分钟了,有什么其他优化sql的方法吗,需要在50s内查询出
一个数据量很大的数据库设计问题
我们公司给一个客户做了一个ERP系统,但是用户的<em>数据量</em><em>很大</em>,而且随着时间将会更大,这样运行起来就很慢,将影响速度<em>问题</em>,还有相关备份和存储就有困难了,rnrn怎样设计数据库呢?rnrn例如他达到10GB怎么设计啊!rnrn个人认为可以根据年度而分类存储较理想!rn 各位有什么更好的想法啊!
用户提交的数据量很大怎么办?
我用的是asp+sql server+win2000做文章管理rn可是当录入员提交的<em>数据量</em><em>很大</em>时,总是超时rn我在程序中和iis及sql server中把时间调的rn很长,可是不一会儿就又超时了,这该怎么办呀?rn我的字段是用的ntext型rn
C# UDP通讯 数据量很大
现在有一个设备使用的是UDP协议发送数据,我现在需要接收它发送的数据。rn主要代码如下:rnpublic byte[] ReceiveData(ref IPEndPoint remoteEP)rn rn int count = this.udpClient.Available;rn if (count > 0)rn rn byte[] data = this.udpClient.Receive(ref remoteEP);rn return data;rn rn elsern rn return null;rn rn rn采用一个线程负责不断的接受数据,现在的<em>问题</em>是我的程序接收的过程中会丢包。rn说明:接受的数据需要转换为长整数,还有后续的处理工作(这些是其它线程做的)。rnrn请问有效率更高的接收方法吗?rnrn硬件环境:rn设备自带网卡为10Mbpsrn计算机为100Mbpsrnrn其它:rn设备的发送速率为3Mbps左右rnrn求高人帮帮忙。
如何规划数据量很大的数据库
请问,如何规划<em>数据量</em><em>很大</em>的数据库,我预计每个月会有1-3千万的<em>数据量</em>,请问这样的<em>数据量</em>改如何来规划数据库,谢谢
数据量很大的时候,如何提高效率?
数据必须是全部读取出来,若数据库量<em>很大</em>的时候会很慢.rnrn(群发邮件)rnrn请问如何写才能有更高效率呢?(不用显示查询结果)
很大数据数据量时的浏览
我用SQL Server 数据库,<em>数据量</em><em>很大</em>,有10多万条记录,用Grid浏览时很慢,怎样解决这个<em>问题</em>
多表查询问题,数据量很大,很烦琐
公司销售月销量6个表(月):1,2,3,4,5,6rnrn客户销售我公司商品4种:a,b,c,drnrn要求出上半年这4种商品销量的前500名的客户rnrn每个月的销量表里面包括(客户名称,商品名称,日期,销量(日))
Ext ComboBox数据量很大问题,急!
Ext从后台获取json数据rnrn大概有8万多条。rnrn想在combobox里显示。rnrn<em>数据量</em>小的时候显示没<em>问题</em>,但<em>数据量</em>大的时候报JS错误:内存不够。rnrn谁遇到过类似<em>问题</em>,期待高手帮忙解答~~rnrn成功解决可以加分
mysql数据量很大时,CPU占用率很高,如何优化
现在在做一个系统,用Mysql做数据库,发现<em>数据量</em>变大之后。<em>mysql</em>的cpu占用率很高,一个测试端访问服务器时<em>mysql</em>的cpu占用率为15% ,6个测试端连服务器的时候<em>mysql</em> cpu占用率为50%~60% 。能不能优化,如何优化,我使用的<em>mysql</em>配置都是默认的。rnrnps 1: 每个测试端所做事情就是插入记录,不过插入前会先查询一下是否已经有相同的记录,有的话就更新原有记录,没有就直接插入。rnrnps 2: CPU--Pentium Dual E1240 @ 1.60GHZrn 内存--2Grn OS--Windows 2003
QT快速读取数据量很大的Excel文件
最近写的一个项目中,有需要读取<em>数据量</em><em>很大</em>(有10个sheet,每个sheet有65535行11列的数据)的Excel文件,用了COM和QODBC两种方法读取,速度很慢。 你可能会问,为啥不把数据放在数据库里,那样读取的速度更快?当然,需求要求是可以从数据库或者从Excel中读取数据这两种方式,所以没办法还是要操作Excel。 回归正题,在操作Excel上,QT有两种方式,一是通过COM
数据量很大,提示正在加载中...
1.用DIV实现正在加载中rn2.如果加载完毕后DIV消失.
for循环,数据量很大,导致结果很慢,求解
在项目中遇到了一个<em>问题</em>,for循环中<em>数据量</em><em>很大</em>,并且是多重for循环(每一重循环中<em>数据量</em>都有可能<em>很大</em>)。这样导致结果很慢,有什么可以优化的方法吗,求解。另外,在项目中的for循环中有需要返回的值。此处以双重for循环为例。rn[code=java]rnpublic void nest()rn long startTime = System.currentTimeMillis();rn int flag = 0;rn for(int i = 0 ; i < 1000 ;i++)rn for(int j=0; j+(endTime - startTime));rn rn[/code]rnrn小弟也想过多线程,但是好像使用多线程并没有提高速度。哪位大神可以给指条明路。或者来个简单的demo。多谢啊rnrnrn
表的数据量很大,怎么样设计表结构
我的信息是分城市的,每天大概能新增5万条数据,这样累计下来,数据表的数量级<em>很大</em>,查询很慢,rn如果把每个大城市都建一个表,怎样会建很多的表,还要联合查询,不方便rn有什么好的建议
难: 关于结果集数据量很大时候的处理问题
数据表有1100000条纪录,我为了加快后面操作的速度,连续执行了三次sql获得三个ResultSet,然后分别设置各自起点游标在0和两个三分位置上,然后开始从中逐条并行取数据并用sql传给另一个表。但是执行到最后的时候老出现java.lang.outofmemoryerror,说是<>这该如何解决呢?
数据量很大,求高效sql!在线等!!!!!!!!!!
有个数据表,<em>数据量</em><em>很大</em>大概30wrn我抽象说一下结构rn表名t_talbe(usersid,orderid) 联合主键rnrn数据rn 1,1rn 1,2rn 1,3rn 2,1rn 3,1rn 4,1rn 4,3rn ...rnrn现在想查出 orderid=1 的usersid,但是usersid有不能和其他order有对应关系的,所有usersidrnrn这个结果应该是 2,3
用Java导出excel表格。数据量很大
用Java实现下载功能,并保存到excel表格中;异步的。新增一个进程的那种。 简单的导出下载: https://www.cnblogs.com/raphael5200/p/5132631.html
数据量很大的CSV写入到HIVE
在kaggle下载了一个train.csv,用于测试公司平台决策树算法,该数据有一个label标签和784个特征列,名字如pixel0,pixel1…….pixel783。 具体操作如下(pyspark下): from pyspark.sql import HiveContext hivec = HiveContext(sc) # 创建一个hivecontext对象用于写执行SQL,s...
请问一个数据量很大的系统如何实现?
我只做过一些小的系统,做大系统没有经验,我想请教一下,这样一个大的系统 软件和硬件 怎么设计?rn1 这个行业共有1.5万种产品rn2 有100多万家销售单位rn3 每个销售单位每天有1-2 万条销售记录rn4 如果我想知道 在一个月内 或一年内 ,哪个产品卖得最好rn5 数据要实时变化(实时的一定延迟 可以接受)rnrnrn请大牛 给些建议
从一数据量很大的库中读取数据?
要从一<em>数据量</em><em>很大</em>的库中读取数据,rnsettransobject()之后rnretrieve()等待时间很长rn如果不使用retrieve(参数1,参数2...)的参数做查询条件 自己如何设定返回来的记录条数rn
关于数据库数据量很大时反应速度的讨论
小弟近来用DELPHI7.0+SQL SERVER 2000编一数据库程序,用户在用时反映当<em>数据量</em>比较大时,程序运行较慢。<em>数据量</em>大约在4000条左右。据说此数据库存个百八十万条不成<em>问题</em>,但以目前的速度来看恐怕将是恶梦吧!不知各位有没有此经历,请赐教一二!注表中字段很多是不是有<em>很大</em>的影响啊?还有没有其它的原因造成速度很慢啊?请详细说说,在线结贴
NOT IN (数据集合)数据量很大的话如何优化?
NOT IN (数据集合)这个数据集合是从redis里面取出来的一个列表,当这个列表<em>数据量</em>比较大的时候,将近几千个的时候查询超过1秒,请问碰到这种情况如何优化?rnSQL语句类似 select id from user where id not in (1,2,3,4,5),只不过<em>数据量</em>远不止这5个
如何提高处理数据量很大文件的效率??
最近遇到一个头痛的事情:有一个文本文件有大约200M,一共有1千多万条数据。数据结构比较简单,一共就是三列,id、name、value。想点击某个按钮将这些数据load到内存中。现在的实现是使用Open App.Path + "\resource\level1007.dat" For Input As #1的方式,每读取一行,进行split,然后存到一个自定义的type中,最后形成一个type的数组。rnrn测试了一把,这种读取文件的方法非常慢,也许是我的机器不好,将这些数据全部load到内存中花了5个多小时!!请各位大侠拉兄弟一把。
java使用多线程及分页查询数据量很大的数据
主要的思路就是: 先通过count查出结果集的总条数,设置每个线程分页查询的条数,通过总条数和单次条数得到线程数量,通过改变limit的下标实现分批查询。   调用方法: import org.springframework.beans.factory.annotation.Autowired; import java.util.ArrayList; import java.util....
高手来,,数据量很大,,怎么更新啊
表A(col1,col2)rn表B(col1,col2)rnrnrn表A,B中的COL1,COL2字段对应,, 现在表B中的col2字段是空的,, 我想根据表A更新表B的COL2字段rnrnrn现在A,B表都是几千万的数据,,写一般的语句就卡死了,,跪求高手帮忙写下SQL语句
加载数据量很大,怎么提高加载数据速度?
加载了一个大容量的TXT文本,目前我用的是分块映射操作。每加载一块,在其中有判断数据正确与否,计算,描点画图等。感觉速度还是不够快速,大家可有更好的方法来提高速度??谢谢了!
请问数据量很大的情况下如何提高效率
是把所有数据放在一张表里查询快,还是分成多张表,每张表里包含一部分信息,分成多张表来查询。
一个表数据量很大,可以用视图吗?
一个产品表<em>数据量</em>非常非常大,那么这张表如果用视图关联分类表的话,效率非常低把?视图创建代码如下rn[code=sql]rnSELECT dbo.Product.*,dbo.Category.CategoryName as CategiryNamernFROM dbo.Category INNER JOINrn dbo.Product ON dbo.Category .CategoryID = dbo.Product.CategoryID rn[/code]rnrn我的理解是这样的,视图是一张虚拟表,当<em>数据量</em>达到千万级别时,这个时候要组成这样一张临时表本身就比较消耗资源,另外,视图不支持索引,那么从这么一个不支持索引的大表中取数据,效率肯定很对,不知我理解对不对,有没有更好的解决方案?
wcf传输报错,数据量也不是很大
The underlying connection was closed: The connection was closed unexpectedly.rn用wcf传输数据,Dictionary>的,才1000多条数据就报错了。设置了wcf两端的webconfig还是不行。rnrnServer stack trace: rn at System.ServiceModel.Channels.HttpChannelUtilities.ProcessGetResponseWebException(WebException webException, HttpWebRequest request, HttpAbortReason abortReason)rn at System.ServiceModel.Channels.HttpChannelFactory.HttpRequestChannel.HttpChannelRequest.WaitForReply(TimeSpan timeout)rn at System.ServiceModel.Channels.RequestChannel.Request(Message message, TimeSpan timeout)rn at System.ServiceModel.Dispatcher.RequestChannelBinder.Request(Message message, TimeSpan timeout)rn at System.ServiceModel.Channels.ServiceChannel.Call(String action, Boolean oneway, ProxyOperationRuntime operation, Object[] ins, Object[] outs, TimeSpan timeout)rn at System.ServiceModel.Channels.ServiceChannel.Call(String action, Boolean oneway, ProxyOperationRuntime operation, Object[] ins, Object[] outs)rn at System.ServiceModel.Channels.ServiceChannelProxy.InvokeService(IMethodCallMessage methodCall, ProxyOperationRuntime operation)rn at System.ServiceModel.Channels.ServiceChannelProxy.Invoke(IMessage message)rnrnException rethrown at [0]: rn at System.Runtime.Remoting.Proxies.RealProxy.HandleReturnMessage(IMessage reqMsg, IMessage retMsg)rn at System.Runtime.Remoting.Proxies.RealProxy.PrivateInvoke(MessageData& msgData, Int32 type)rn at iCRS.EnquiryService.IEnquiry.GetValidTransactionHistoryEnquiry(Dictionary`2 dicPares, Dictionary`2& dicReturnError)rn at iCRS.EnquiryService.EnquiryClient.GetValidTransactionHistoryEnquiry(Dictionary`2 dicPares, Dictionary`2& dicReturnError) in d:\manila\icrs.app\icrs\service references\enquiryservice\reference.cs:line 2585rn at eCommerce.iHoliday.ASP.EnquiryApp.Enquiry.getdataafterebtnsearch(Dictionary`2 dicPares, Int32 i) in D:\Manila\iCRS.App\iCRS\EnquiryApp\Enquiry.aspx.cs:line 352rn at eCommerce.iHoliday.ASP.EnquiryApp.Enquiry.getGridViewDataSource(Int32 i) in D:\Manila\iCRS.App\iCRS\EnquiryApp\Enquiry.aspx.cs:line 346rn at eCommerce.iHoliday.ASP.EnquiryApp.Enquiry.btnsearch() in D:\Manila\iCRS.App\iCRS\EnquiryApp\Enquiry.aspx.cs:line 283rn at eCommerce.iHoliday.ASP.EnquiryApp.Enquiry.btnSearch_Click(Object sender, EventArgs e) in D:\Manila\iCRS.App\iCRS\EnquiryApp\Enquiry.aspx.cs:line 230rn at System.Web.UI.WebControls.Button.OnClick(EventArgs e)rn at System.Web.UI.WebControls.Button.RaisePostBackEvent(String eventArgument)rn at System.Web.UI.WebControls.Button.System.Web.UI.IPostBackEventHandler.RaisePostBackEvent(String eventArgument)rn at System.Web.UI.Page.RaisePostBackEvent(IPostBackEventHandler sourceControl, String eventArgument)rn at System.Web.UI.Page.RaisePostBackEvent(NameValueCollection postData)rn at System.Web.UI.Page.ProcessRequestMain(Boolean includeStagesBeforeAsyncPoint, Boolean includeStagesAfterAsyncPoint)rn
千万级数据量Mysql数据库优化
如何准备一千万条数据?【存储过程】影响数据库性能的关键要素为什么要进行分页查询显示1、响应时间、扫描的行数、返回的数据行数2、具体时间:数据库设计不合理、sql慢查询如何进行数据库优化? 1、数据库设计 2、sql语句优化 3、架构优化适度违反三大范式【适度】 遵循三大范式后续查询时需要经常使用join,导致查询效率降低,结合业务需求适当做数据冗余适度建立索引 IO(更新操作速度降低、索引的操作)...
MySQL数据量查看
select sum(DATA_LENGTH + INDEX_LENGTH) / (1024 * 1024 * 1024) from information_schema.TABLES WHERE information_schema.`TABLES`.TABLE_NAME = 'database' 结果为GB
mysql 查看表数据量
数据库中有几十上百张表,那么哪些表的<em>数据量</em>比较大呢,总不能一个表一个表的去查询吧,在<em>mysql</em>中也有类似于oracle的数据字典表,只不过<em>mysql</em>没有oracle记录的那么多和详细,但也足够我们查询这些信息了。    在<em>mysql</em>的information_schema下有存储数据库基本信息的数据字典表,可以通过查询tables表来获得所需要的表相关信息。 <em>mysql</em>> show data
查看 Mysql 数据量大小
以MB为单位统计,查询当前全部数据库的<em>数据量</em>大小。 data_length:数据大小 index_length:索引大小 SELECT table_schema "Data Base Name", sum( data_length + index_length ) / 1024 / 1024 "Data Base Size in MB" FROM information_sche...
mysql查看数据量
SELECT sum(DATA_LENGTH)+sum(INDEX_LENGTH) FROM information_schema.TABLES where TABLE_SCHEMA='icn_callcenter';
MySql支持多大的数据量?
就是能够增加和单表查询反映不超过3分钟,<em>数据量</em>能到多大?rnrn如果只进行select的花,<em>数据量</em>能到多大?rnrn还有压缩表和内存表是否有效(<em>数据量</em>上亿)?
MySql表的数据量查询
SELECT * FROM information_schema.TABLES WHERE TABLE_SCHEMA = 'mbb'
数据库导入数据时,数据量很大导致报错问题
当数据库导入数据时,<em>数据量</em><em>很大</em>容易导致一些<em>问题</em> 在<em>mysql</em>安装目录下,找到my.ini文件,打开此文件在最下面加入以下一段代码: wait_timeout=2880000 interactive_timeout =2880000 max_allowed_packet=10M 能解决此<em>问题</em>
访问远程数据库的某数据量很大的表的效率问题..
select a.*,0.0 sdsyz,' ' bz into xsgwtk rnfrom dlcg.run.dbo.orderrec arn where a.opertime>@wtsj and a.clearamt<>0 and a.bsflag='0S' and a.secuid+a.stkcode in (select fwgddm+fwzqdm from xsgdzjk) rn group by a.orgid,a.custid,a.secuid,a.stkcode,a.bsflag,a.custnamern order by a.custidrnrnrndlcg.run.dbo.orderrec这是远程服务器的1个表,几十万行甚至上百万行数据吧,其<em>数据量</em>大约几百兆rnxsgdzjk是本地服务器的1个表,较小,万行以内rn带宽是有限的rnrn有无优化的余地?速度既要快又要占用广域网带宽小rnrnselect a.*,b.zjye from xsgdzjk a left join dlcg.run.dbo.orderrec b on a.secuid=b.secuidrn这是左链接的方式,表的大小同上,它是什么数据顺序?即是把表xsgdzjk 传递到远程dlcg.run.dbo.orderrec 上呢?rn还是把dlcg.run.dbo.orderrec 的数据传到本地? (几百兆啊)rn或者其他方法?rn(当然前2种方法肯定不是最优方法。假设是SQL2000企业版)
对数据库采用Sybase时数据量很大的分页问题
最近在做银行的项目,由于<em>数据量</em>较大,而且数据库采用了Sybase,但Sybase本身对分页函数好像不支持,不像oracle,MySQL那样,希望热心的高手给指点怎样高效简洁的处理Sybase的分页!!!但请不要单纯讲理论,网上有很多已经指出了用相关的存储过程之类的,但没明白其原理和里面用的函数,特别是没看懂里面写的思路,rn例如:建中间表是存什么的?要随机数做什么?当前页和跳到第几页的参数是在哪里接收的?rn望帮忙解决,小生谢谢了!!!rn1.CREATE PROCEDURE GetDataByLinern(rn --创建一个分页读取过程rn @SqlStr varchar(8000), --SQL语句rn @FirstRec int, --页起始行rn @LastRec int --页结束行rn)rnASrnDECLARE @dt varchar(10) --生成临时表的随机数rnBEGINrnrn SELECT @dt= substring(convert(varchar, rand()), 3, 10) --一个字符型的随机数rn rn --将搜索结果放入临时表中,表名随机生成,在' FROM '前插入'INTO '+随机临时表名rn SELECT @SqlStr = stuff(@SqlStr, charindex(' FROM ', upper(@SqlStr)), 6 ,' INTO tempdb..Lining' + @dt + ' FROM ')rn EXECUTE (@SqlStr)rn rn --为临时表增加id号rn SELECT @SqlStr = 'ALTER TABLE tempdb..Lining' + @dt + ' ADD TEMPDB_ID numeric(10) IDENTITY PRIMARY KEY'rn EXECUTE (@SqlStr)rn rn --计算临时表中的记录数rn --SELECT @SqlStr = 'SELECT Count(*) From tempdb..Lining' + @dtrn --EXECUTE (@SqlStr)rn rn --选取记录号在起始行和结束行中间的记录rn SELECT @SqlStr = 'SELECT * FROM tempdb..Lining'+@dt+' WHERE TEMPDB_ID > ' + convert(varchar, @FirstRec) + ' and TEMPDB_ID '+convert(varchar,@FirstRec)+' and TEMPDB_ID < '+convert(varchar,@LastRec)rn EXECUTE (@SqlStr)rn rn --删除临时表rn SELECT @SqlStr = 'DROP TABLE tempdb..Paging'+@dtrn EXECUTE (@SqlStr) rn rnENDrnrn
mysql占用很大内存
突然发现<em>mysql</em>占用<em>很大</em>内存,不知道是怎么回事?应该怎么解决呢?各位高手请帮帮忙啊,我安装的lamprnrn PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMANDrn 7931 nobody 18 0 148m 47m 5412 S 99.9 3.7 108:10.33 <em>mysql</em>drn 6416 squid 15 0 189m 184m 2292 S 0.3 14.6 10:13.56 squidrn 7953 root 16 0 2408 1024 804 S 0.3 0.1 0:38.33 toprn 1 root 15 0 2156 644 552 S 0.0 0.0 0:05.55 initrn
对于用poi读取Excel的数据,数据量很大问题
对于用poi读取Excel的数据,<em>数据量</em><em>很大</em>(千万级)的情况下,请问怎么限制每次读取的文件<em>数据量</em>为500,然后保存在另一个Excel表格中,然后依次循环读取,依次保存,保证全部数据的完整性和不重复性呢?求大神指点,并赐予代码!!急。
【菜鸟问题数据量很大的时候应用程序出现无法响应
当在<em>数据量</em>比较大的情况下,在循环过程中,应用程序出现无法响应,怎么解决?rnrn不知道大家明白我的意思否
数据量很大的两个表之间的连接问题!优化问题
有两个表 a , b 其中a.id 为index ,是b.aid的外键 rn我在b表中建立b.aid的索引(a.id因为是主键所以为默认的索引) rnrn两个表中的记录均为40多万条 rn建立视图 c: select a.*,b.* from a, b where a.id=b.aid rn然后执行select * from c需要6、7秒的时间 rn请问如何提高效率? rn如果是数据库的配置<em>问题</em>那么数据库的配置信息应如何设置呢?
请教,讨论:WEB开发中如何处理很大数据量的字典问题
一个<em>很大</em>的数据字典,假设为几百K。甚至更大!在我们的WEB开发中要如何处理!rn1:放在Server 的Application中,用户每次浏览时都要下载。增大了网络的压力。如何去减少网络的压力?rn2:放在客户端。减少了压力!如何去处理字典的更新和IE读取本地文件的安全性<em>问题</em>?rn3:可以用ActiveX去做吗?有什么好的思想?rn欢迎大家提出自己好的见解或是好的处理经验!谢谢!rn发言者有分!
简单问题数据量很大想提供效率!求解
表结构如下paycardpwd :rncard     passwordrn1000003002 646114rn1000003003 023938rn1000003004 651127rn1000003005 328995rn1000003006 211777rn1000003007 409857rn1000003008 954517rn1000003009 422188rn1000003010 594786rn1000003011 597106rn我要做一个查询rnselect * CardNofrom dbo.paycardpwd where cardNo='?'rn<em>数据量</em>有200万条!想提供效率!请问有什么好方法?谢谢!rn
数据量很大的排序问题 大量数据如何排序
<em>数据量</em><em>很大</em>的排序<em>问题</em> 大量数据如何排序     【尊重原创,转载请注明出处】http://blog.csdn.net/guyuealian/article/details/51119499     同学某天参加腾讯面试,技术面的时候,面试官问了排序<em>问题</em>:     <em>问题</em>一:若有1T的数据,需要实现由大到小排序,你用什么办法,说说你的思路和想法?     <em>问题</em>二:有10个G的数据,如果
求助!关于加载数据量很大页面的问题。在线等...
有一个中间过滤页面(1.aspx),需要转到别一个页面(2.aspx需要加载很多数据)。在页面(2.aspx)加载完成之后,才转向;完成之前一直处于1.aspx等待。
VC6.0中的flexgrid的问题数据量很大该如何处理?分页?
VC6.0中的flexgrid的<em>问题</em>,没有用到数据库,数据都是从数组中手工添加进去的。rnrn当<em>数据量</em><em>很大</em>时(也就5列*16000行),该如何处理才能速度快些呢(我的程序需要对flexgrid控件进行隐藏/显示切换,<em>数据量</em><em>很大</em>时速度应该很慢吧?反正用listctrl会很慢,用了虚列表也没感觉什么改善)?
MySQL社区版处理数据量问题
因为最近要启动一个项目,想请教各位大佬两个<em>问题</em>:rnMySQL社区版rn1、是否支持100T的<em>数据量</em>(主要做存储用)?rn2、是否支持50+个客户端的并发访问?rn由于之前用MySQL存储的<em>数据量</em>小,没有存储过这么大数据的经验rn还有就是如果处理这么大的<em>数据量</em>,需要什么配置的计算机性能?
mysql较大数据量查询更新问题
有个表 里面假设有 四个字段rnid(自增) name varchar(20) password varchar(10) state int --0 为可用 1为不可用 rnrn现在取一部分数据1w--10w不等,取完后相应数据状态得变为1, 而且这些数据要写入文件 文件写入失败,状态又要变为可用 。而且是多线程的,又要防止取到重复数据。请问各位大神要有什么好的方案 既可以解决<em>问题</em>又可以高效处理。 [img=https://forum.csdn.net/PointForum/ui/scripts/csdn/Plugin/003/monkey/35.gif][/img] rn
mysql在百万数据量下查询慢的问题
这两天,越来越觉得自己做的玩家历史表,查询速度很慢,开始还以为是网络的<em>问题</em>,然后持续了一两天很快pass了这个想法。很可能是自己的查询速度慢,于是进入数据库看了一下,发现历史记录已经达到了600多万条了。随着dau的上升,玩家越来越多,乃至于历史记录也成倍的增长,虽然自己做了定时删除七天以前的记录,但还是承受不住巨量的人数增长带来的历史数据剧增。 因此,本人操作数据库直接测试了一下查询历史记录的
数据量问题
怎样避免数据库表的爆满!
MySQL百万级数据量查询优化
先说下背景,之前写代码基本不用考虑数据库优化,当然,一些基本的<em>mysql</em>优化专业素养还是有的,直到公司业务流水太大,做数据统计的时候请求超时-_-我才意识到,作为一名优秀的程序媛,数据优化是必不可少,能用上就千万别偷懒.. 基础优化,入门优化 对查询进行优化,要尽量避免全表扫描常用优化技能 建立索引深入优化
mysql去重,3亿多数据量
差不多3亿6千万数据,需要去重。因为<em>数据量</em>太大,所以: 将数据load data infile到大表里,不进行任何去重操作,没有任何约束。然后将数据分成几十个小表,用这几十个小表去对比大表去重。得到去重后的小表。去重以后的小表,根据字段进行hash算出后两位数字,重新建好新表,将去重后小表的数据,插入到带有hash数字新表中。 存储过程如下(去重): DELIMITER // /*tbln...
mysql 数据量太大的设计方案 ~200T
现在公司要做一个数据库方案,总体目标是要存约 200T 的数据,机器不是<em>问题</em>。rnrn已知:表结构很简单,关链是<em>数据量</em>实在是太大。对查询有较高的要求(基本上要让客户体会不到时延),而且数据会时不时地添加(添加的量也<em>很大</em>,大概一年会升个数量级)rnrn有没有人能给点意见,能大致给个方向,不胜感激。
这样的数据量mysql能否支持?
表字段不多(七八个),但每秒会有100+条数据insert到其中,一天大概有1000万笔记录rnrn请问这样的<em>数据量</em><em>mysql</em>能支持吗?rn如果不能支持,ms sql express 可以吗?rn或者其他的什么数据库能支持?rn谢谢。
如何统计MySQL数据量大小
目录 如何统计MySQL<em>数据量</em>大小 CONCAT函数解读 换汤不换药,对所有库的查询 information_schem库 performance_schema库
数据量问题
我现在表中记录已经有100w条了,每天还以2W条增加。我在库中写了一个存储过程来处理这个表中数据,并返回会一个记录集。我发现当表中记录达到60w条我用程序调用这个存储过程时就已经返回timeout expire了,这样要处理很长时间,那我怎么办啊?各位能不能帮我想想办法啊?先谢谢了、
查看MySQL中数据表的数据量
在MySQL中有个库叫information_schema,里面有数据库基本信息的数据字典表,可以通过查询tables表来获得所需要的表相关信息。SELECT * from `TABLES` ;当我们需要分析数据表中的<em>数据量</em>的时候,可以用如下sqlselect table_name,table_rows from tables where TABLE_SCHEMA = 'dataterminaldb
mysql 根据条件统计数据量
目录 需求:统计总数,未完成数和完成数 方法一: 方法二: 总结: CREATE TABLE `test_task` ( `id` int(11) NOT NULL AUTO_INCREMENT, `done` tinyint(1) DEFAULT NULL COMMENT '是否完成', `doneTime` int(11) DEFAULT NULL COMMENT '完...
如何快速扩展MySQL数据量
很多时候由于MySQL技术导致的灾难性的后果,同时大量用于读的MySQL从属服务器,产生了大量令人恼火的Bug,特别是缓存。为了解决这个<em>问题</em>我们就需要重新架构整个存储模型,今天和大家分享的就是如何快速扩展MySQL数据容量的相关操作,希望可以帮助大家更好的学习MySQL ,一起来看看吧。 1 业务需求 ·系统总体要非常稳定,便于操作,便于拓展。我们想让数据库能从开始小存储量,能随着业务发展而拓
Mysql统计所有表数据量
SELECT TABLE_NAME, TABLE_ROWS FROM `information_schema`.`tables` WHERE `table_schema` = 'YOUR_DB_NAME'; 说明: 以上语句得出的行统计数量,并不精确,是一个大约估计的数量
mysql 查看数据库表数据量大小
查看某个数据库下每张表的<em>数据量</em>大小 use information_schema; select table_name,table_rows from tables  where TABLE_SCHEMA = '数据库名字'  order by table_rows desc;
Asp.net MySQL GridView 超大数据量
我现在做一个项目,开发语言是用ASP.NET的,但是数据库用的是MySQL(不要问为什么),现在我要用到的一个功能是查询日志的功能,这个日志大概有一百万条的<em>数据量</em>,这个时候我想用GridView的功能,但是考虑到响应时间啥的会顶不住,而且上网也搜不到ASP.NET+Mysql这方面的。请哪位大侠帮忙指点下。分数不多,请各位帮忙下!
MySQL中的数据量太大了,怎么办
公司的这套产品已经有2-3年的时间了,我刚来,公司的老员工都走完了,留下了一大堆的<em>问题</em>,没办法,只能一点一点解决,但关于Mysql<em>数据量</em>太的<em>问题</em>,本人整了几天,实在是没有头绪,还请群中的各位好友帮忙看下,如何解决。rn我的Mysql中有几张表的记录条数大概在十几万条记录,每次我用<em>mysql</em>dump命令做备份的时候,Mysql的数据库服务器自动停止,而当用<em>mysql</em>dump备份单张表的时候,也出现这中情况?像这样后续的数据,客户还在继续向数据库中添加数据,这样不能备份,真怕有一天,数据库坏掉,那连还原都没法还原了,(我现在都是把Mysql整个文件夹都拷贝一下,做备份,但觉的这样不好,现在Mysql文件夹的大小都在600多M左右)还望大侠们看到后,能提些意见,我该怎么办!叩谢了。
Mysql数据量大小统计查询
– ★查看所有库的大小 select concat(round(sum(DATA_LENGTH/1024/1024),2),‘MB’) as ALL_DB_DATA_SIZE, concat(round(sum(INDEX_LENGTH/1024/1024),2),‘MB’) as ALL_DB_INDEX_SIZE, concat(round(sum((DATA_LENGTH + INDEX_L...
Mysql导入数据量较大的SQL文件
<em>问题</em>描述:Navicat for Mysql 导入<em>数据量</em>较大的sql文件时,会提示操作失败,如图, 解决方法: 采用<em>mysql</em> source命令导入; 操作步骤: 1. 打开cmd,输入命令:<em>mysql</em> -h localhost -u root -p 2. 输入数据库密码,如图: 3. 查询当前用户下的数据库: show databases; 4. 找到你要导入数据库...
mysql千万级数据量的订单统计
<em>mysql</em>千万级<em>数据量</em>的订单统计 背景:订单表中有两千万条数据,未做分区表或者水平分表。从包括此表在内的十张表中查询出聚合后的统计数据。 优化建议: 1.针对需求设计索引,索引适当冗余一些,以免<em>mysql</em>的执行计划改变导致索引失效。 2.使用explain工具 注意用小表撬动大表。 3.在数据库中使用sum,max等函数做数据的聚合查询。因为订单表<em>数据量</em>太大,已经超过了<em>mysql</em>的性能承载限制...
问题很大!
rn昨晚弄了个从dataset更新数据库的东西,代码如下.rn大部分代码从这个网页学来的 [url=http://www.517sou.net/blogview.asp?logID=407][/url]rnrn但是 现在可以更新dataset的内容 就是从dataset更新到数据库的时候 还是不能成功 数据库第一行第一列还是原来的数据 为什么? 书上 和网页上的教程几乎都是这些步骤的 我的代码少步骤吗? 我的数据库是SQL2008企业版(试用)rn[code=C#]rnstatic void Main(string[] args)rn rnrn SqlConnection conn = new SqlConnection("Data Source=CHARGEFORWARD;Database=vv;Integrated Security=True;");rn string sql = "SELECT * FROM kkk ";rnrn SqlDataAdapter sDa = new SqlDataAdapter();rnrn DataSet ds = new DataSet();rnrn rn SqlCommandBuilder builder = new SqlCommandBuilder(sDa);rnrn sDa.SelectCommand = new SqlCommand("select * from kkk", conn);rnrn sDa.Fill(ds, "kkk");rnrnrn Console.WriteLine(ds.Tables["kkk"].Rows[0].ItemArray[0]);rn ds.Tables["kkk"].Rows[0][0] = "unix";//这个位置原来是"linux", 这句话可以把DataSet中相应位置改成"unix",但是执行Update后,数据库中相应位置的内容没有变化 还是 "linux" 为什么?rn Console.WriteLine(ds.Tables["kkk"].Rows[0].ItemArray[0]);rnrnrn ds.AcceptChanges();rnrn sDa.UpdateCommand = builder.GetUpdateCommand();rnrn sDa.Update(ds, "kkk");rnrn rn[/code]
如一网站数据量很大,服务器要如何架设?
自己也不是很清楚我们领导的意思,大概意思如题,主要是想调研下如果一个网站,<em>数据量</em><em>很大</em>了之后(或者用户并发很多的时候),怕服务器撑不住,需要如何应对。。。rnrn目前,是自己租了台服务器,win2003+apache2.2+tomcat6+<em>mysql</em>,网站是SSH的架构...rnrn百度上也找了些分布式的资料,但第一次看,不是很明白,对于只用ECLIPSE作过SSH开发的我来说,难了点rnrn请各位给支个招,有个大概的思路方法也好rnrn
大家谈谈数据量很大的数据库中的添加和删除,和查询操作
1:因为数据很多。每当删除或者添加一条数据的时候,为了显示数据的变化。因此把ListCtrl里的数据全部清楚,然后重新到数据库查找数据填入到ListCtrl,这是我的一个做法。请各位朋友谈谈还有其他方法吗?rnrn2:当数据很多的时候,不可能把全部数据都显示出来,那么该用什么方法,让数据一点点显示出来,譬如:每次显示窗口里的数据(比如20行),当翻页再显示20行,如此反复。
如果一个表的数据量很大,如何分批查询
如果一个表的<em>数据量</em><em>很大</em>,如何分批查询rn比如有10万条记录.rn第一次查询1-200,rn第二次查询201-400,以此类推....直到返回所有数据.rn或者使用分页查询,每次显示一页rn那为高手有代码啊,谢谢!rn
SQL where in 数据量很大时用循环代替?
举个例子(实际情况更复杂些):我搭建了一个网页,用户会输入几千个数据查询数据库: select product_name, deliver from product where product_name in (用户输入的几千个name)。rnrn这时我用foreach循环代替可以不?即在select外部加一个循环,每次查询一个product_name,循环几千次,这样效率会不会比用in更高点?谢谢~
数据量很大而且无限增长的表,大家都是怎么处理的?
正在设计一个数据库,关于销售的,其中一些表记录日常的作业信息,每天大概需要400多条数据进帐,而且没有时间的限制。还对查询要求效率比较高。rn现在存在几个<em>问题</em>:rn1。表里面存在多个类型的数据,是把表拆开,每个类型一张表,还是就放在一个表里,拆开以后可以分流<em>数据量</em>,但是会导致查询和统计的处理困难。rn2。数据库在维护这样大<em>数据量</em>的单表时需要注意什么?(暂时不考虑什么数据库)rn3。如果要建一个表保存历史数据,那么历史数据表和当前的数据表应该怎么组织,才能最好的实现数据的一致和便于查询统计?(现在考虑只在这个单表里面保存大概两个月的数据)rn现在只是初步有了这几个考虑,以前设计数据库的时候也没有考虑那么多,希望能够借鉴一下大家的经验!rn
数据量很大时,如何优化职位过期的代码?
情况如下:rn人才网里,比如一个职位过期的时间overtime是:2005-11-9,我希望是主机上的时间一到2005-11-9 00:00:01,这个职位就自动过期,字段Canshow=false(原来是值true)rn所以我是在首页加了一句代码,rnconn.execute("update [joblist] set canshow=0 where overtime)rn这样每次都检索表的所有数据,如果<em>数据量</em><em>很大</em>时,比如十万,百万,那么首页肯定会很慢,甚至over掉,现求职位自动过期的作法,最优化的代码。谢谢~~~~~
silverlight保存文件,数据量很大,如何防止内存不够
silverlight调用wcf从服务器下载海量数据,需要保存到excel中,如果下载的数据超过2G,就可能会出现内存不够的<em>问题</em>,求解决方案。下载数据可以使用分页的方式,但是最后一并写入excel文件时不知道怎么处理比较好。
数据量不大,但数据库占空间很大,为什么?怎么办?
各位高手,rnrn我有个SQL2000数据库,运行了四年了,现在已经占了两G多的空间,所以,我把数据删除了一些,如果按记录数来算,删除大约三分之二以上,但删除后,我做了“收缩数据库”操作,数据库大小只少了三百M,还有1.7G,这是怎么回事?日志文件也不大,才几百K。rnrn请高手们指点一下,如果把数据库变小?是系统表占空间,还是其它原因?谢谢。
高手们,请问那个效率会更高?在数据量很大的时候。
在<em>数据量</em>大的时候,哪个执行效率会更高?rnrnselect * from record wherernsubstring(card_no,1,4)='5378'rnrn和rnrnselect * from record where card_no likern'5378%'
数据量很大的情况下,大家都用什么来存储的?
在画好的曲线图形里,做了两条游标线,当游标移动的时候,图形里的线条对应游标的坐标点显示出来。我处理的是用记录型数组来存储超级大的<em>数据量</em>,当游标移动到那个坐标点时,对应数组里的数据显示出来。这样做数组好大哟,很占用内存。rn 大家都有什么好方法吗?给点源码最好,谢谢各位了!
当一个表的数据量很大时,怎么去管理数据?
现在有一个表的数据每天回增加100万条记录,当运行一个月后~这个表的<em>数据量</em>已经<em>很大</em>,我想删除前10天的所有数据时,最后出现错误~说回退段太小,在增加了一个10M的回退段后,在去执行删除操作,还是说回退段小,rn之后把数据库删了装过,等了一个星期,就是差不多有1000万条记录后,我在数据库中执行删除操作,删了半天还是没反应,那机器的硬盘一直在亮~!rn怎么才可以把这个表的数据保持在一定的量,比如我在作业过程中增加一条语句:rndelete from tableName where FTIME
如何保证消息队列的高可用性
待分析
CrystalReport 导出Excel时,数据量很大时数据为什么丢失
我用CrystalReport 察看数据没有<em>问题</em>,然后用他自带的导出功能导成Excel时,为什么大部分数据都丢失?rnrn说明:数据有320000条,到出后仅为16800,其余的全部没了rn(我们的CrystalReport版本为6.0,有关系吗)
如果数据量很大怎样加快索检速度.
如果<em>数据量</em><em>很大</em>怎样加快索检速度.和降低cpu使用量rnrn象百度那样,那么多数据,是怎样作到快速查找到的.rn我查找的时候,数据多的话,cpu使用率很高rnrn高手指教!!!!!!rn有什么好办法,告诉我 ..谢谢
??????? SQL server和oracle在数据量很大时,哪个性能较好?
SQL server和oracle在<em>数据量</em><em>很大</em>时,哪个性能较好?rn我要做一个跨国船运公司的项目,<em>数据量</em>将会<em>很大</em>。rn如何选择数据库rn我对sql server比较熟悉rnoracle只是掌握而已rn但是听说sql server<em>数据量</em>大了以后,性能就很差,又不稳定rnrn各位数据库高手给点建议!rn
数据量很大的情况下,关于分页的通用实现,需要保证效率
有源代码的优先rnrnWeb页面谢绝。只需底层代码。多谢
数据量很大,如果批量生成静态页会卡死~!
但是必须得是静态,但是<em>数据量</em>太大!还有一个就是,如果更新一条的话,还得重新全部生成,能不能避免这个~!的有什么好的方式请给个例子!谢谢~!QQ664152358rnrn异步获取是啥啊?高手给讲讲,
数据库中存储了一个数据量很大的表格,如何进行显示?
在数据库中存储了一个表格,<em>数据量</em>随着使用会逐渐增加。该数据表格的查看功能如何设计呢?rn如果直接整表查询的话,到后面会获得一个<em>数据量</em><em>很大</em>的表格,肯定不太合适.现在的基本想法是:rn查询过程中,对查询获取的总的条目数量进行限制,随着外面查看人员拖动滚动条,不断刷新查询结果。rn处理数据库的经验很欠缺,请各位高手给一些建议。
excel分栏打印辅助工具下载
excel分栏打印辅助工具 excel分栏打印辅助工具 excel分栏打印辅助工具 相关下载链接:[url=//download.csdn.net/download/yiimportance/2862292?utm_source=bbsseo]//download.csdn.net/download/yiimportance/2862292?utm_source=bbsseo[/url]
浅谈HOOK技术在VC编程中的应用下载
简析HOOK在VC中的应用,内容很精辟,希望大家能够喜欢!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 相关下载链接:[url=//download.csdn.net/download/qq130050260/3220556?utm_source=bbsseo]//download.csdn.net/download/qq130050260/3220556?utm_source=bbsseo[/url]
PLC通讯方式介绍下载
一、通信方法—通信的类别在PLC及其网络中存在两类通信:一类是并行通信,另一类是串行通信,并行通信一般发生在可编程序控制器的内部,它指的是多处理器. 相关下载链接:[url=//download.csdn.net/download/u011687245/5928389?utm_source=bbsseo]//download.csdn.net/download/u011687245/5928389?utm_source=bbsseo[/url]
相关热词 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法
我们是很有底线的