java大数据量循环插入时间效率问题!求解~优化方案 [问题点数:30分,结帖人yixiaof]

Bbs1
本版专家分:5
结帖率 77.78%
Bbs8
本版专家分:34722
版主
Blank
优秀版主 2016年10月优秀小版主
优秀小版主
Blank
红花 2018年12月 Java大版内专家分月排行榜第一
2016年1月 Java大版内专家分月排行榜第一
2015年12月 Java大版内专家分月排行榜第一
2015年9月 Java大版内专家分月排行榜第一
2015年8月 Java大版内专家分月排行榜第一
Blank
黄花 2016年3月 Java大版内专家分月排行榜第二
2016年2月 Java大版内专家分月排行榜第二
2015年11月 Java大版内专家分月排行榜第二
2015年10月 Java大版内专家分月排行榜第二
Blank
蓝花 2017年5月 Java大版内专家分月排行榜第三
2016年5月 Java大版内专家分月排行榜第三
2015年7月 Java大版内专家分月排行榜第三
Bbs1
本版专家分:5
Bbs3
本版专家分:531
Bbs9
本版专家分:68004
版主
Blank
红花 2016年3月 Java大版内专家分月排行榜第一
2016年2月 Java大版内专家分月排行榜第一
2015年11月 Java大版内专家分月排行榜第一
2015年10月 Java大版内专家分月排行榜第一
2014年8月 Java大版内专家分月排行榜第一
2014年7月 Java大版内专家分月排行榜第一
2014年5月 Java大版内专家分月排行榜第一
Blank
黄花 2016年1月 Java大版内专家分月排行榜第二
2015年12月 Java大版内专家分月排行榜第二
2015年8月 Java大版内专家分月排行榜第二
2015年3月 Java大版内专家分月排行榜第二
2015年1月 Java大版内专家分月排行榜第二
2014年12月 Java大版内专家分月排行榜第二
2014年11月 Java大版内专家分月排行榜第二
2014年6月 Java大版内专家分月排行榜第二
2014年4月 Java大版内专家分月排行榜第二
2014年1月 Java大版内专家分月排行榜第二
2013年11月 Java大版内专家分月排行榜第二
Blank
蓝花 2015年9月 Java大版内专家分月排行榜第三
2015年6月 Java大版内专家分月排行榜第三
2015年5月 Java大版内专家分月排行榜第三
2015年2月 Java大版内专家分月排行榜第三
2014年3月 Java大版内专家分月排行榜第三
2013年12月 Java大版内专家分月排行榜第三
Bbs1
本版专家分:5
Bbs9
本版专家分:68004
版主
Blank
红花 2016年3月 Java大版内专家分月排行榜第一
2016年2月 Java大版内专家分月排行榜第一
2015年11月 Java大版内专家分月排行榜第一
2015年10月 Java大版内专家分月排行榜第一
2014年8月 Java大版内专家分月排行榜第一
2014年7月 Java大版内专家分月排行榜第一
2014年5月 Java大版内专家分月排行榜第一
Blank
黄花 2016年1月 Java大版内专家分月排行榜第二
2015年12月 Java大版内专家分月排行榜第二
2015年8月 Java大版内专家分月排行榜第二
2015年3月 Java大版内专家分月排行榜第二
2015年1月 Java大版内专家分月排行榜第二
2014年12月 Java大版内专家分月排行榜第二
2014年11月 Java大版内专家分月排行榜第二
2014年6月 Java大版内专家分月排行榜第二
2014年4月 Java大版内专家分月排行榜第二
2014年1月 Java大版内专家分月排行榜第二
2013年11月 Java大版内专家分月排行榜第二
Blank
蓝花 2015年9月 Java大版内专家分月排行榜第三
2015年6月 Java大版内专家分月排行榜第三
2015年5月 Java大版内专家分月排行榜第三
2015年2月 Java大版内专家分月排行榜第三
2014年3月 Java大版内专家分月排行榜第三
2013年12月 Java大版内专家分月排行榜第三
Bbs1
本版专家分:5
Bbs9
本版专家分:68004
版主
Blank
红花 2016年3月 Java大版内专家分月排行榜第一
2016年2月 Java大版内专家分月排行榜第一
2015年11月 Java大版内专家分月排行榜第一
2015年10月 Java大版内专家分月排行榜第一
2014年8月 Java大版内专家分月排行榜第一
2014年7月 Java大版内专家分月排行榜第一
2014年5月 Java大版内专家分月排行榜第一
Blank
黄花 2016年1月 Java大版内专家分月排行榜第二
2015年12月 Java大版内专家分月排行榜第二
2015年8月 Java大版内专家分月排行榜第二
2015年3月 Java大版内专家分月排行榜第二
2015年1月 Java大版内专家分月排行榜第二
2014年12月 Java大版内专家分月排行榜第二
2014年11月 Java大版内专家分月排行榜第二
2014年6月 Java大版内专家分月排行榜第二
2014年4月 Java大版内专家分月排行榜第二
2014年1月 Java大版内专家分月排行榜第二
2013年11月 Java大版内专家分月排行榜第二
Blank
蓝花 2015年9月 Java大版内专家分月排行榜第三
2015年6月 Java大版内专家分月排行榜第三
2015年5月 Java大版内专家分月排行榜第三
2015年2月 Java大版内专家分月排行榜第三
2014年3月 Java大版内专家分月排行榜第三
2013年12月 Java大版内专家分月排行榜第三
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs5
本版专家分:2084
Blank
蓝花 2018年12月 Java大版内专家分月排行榜第三
Bbs2
本版专家分:179
Blank
脉脉勋章 绑定脉脉第三方账户获取
Bbs5
本版专家分:3566
Blank
红花 2018年9月 Oracle大版内专家分月排行榜第一
Blank
黄花 2018年11月 Oracle大版内专家分月排行榜第二
Bbs1
本版专家分:0
Bbs5
本版专家分:2429
Bbs1
本版专家分:0
Bbs1
本版专家分:5
求解,对于大数据量插入与更新,怎样最好的提交效率
<em>大数据量</em>的数据库<em>插入</em>与更新,如何最好的提高<em>效率</em>,有什么比较好的第三方批量处理框架吗?
动态规划算法时间效率优化 动态规划算法时间效率优化
动态规划算法<em>时间</em><em>效率</em>的<em>优化</em> 动态规划算法<em>时间</em><em>效率</em>的<em>优化</em>
大数据量效率问题
请看,rnmysql> alter table quote change column new_field_id id int(10);rnQuery OK, 8044657 rows affected (1 min 2.64 sec)rnRecords: 8044657 Duplicates: 0 Warnings: 0rn数据量大了以后,一个简单的操作,更改列名字,都用了1 min 2.64 sec,恐怖呀。
JDBC批量Insert深度优化
JDBC批量Insert深度<em>优化</em> 1、批量执行时,分批的大小对<em>效率</em>影响也很大,静态SQL以200-1000条分批执行为宜。预定义SQL以50-400条为宜。 2、预处理SQL<em>效率</em>稍稍胜出,因此批量执行时候优先选择预定义SQL,预定义SQL还有个好处就是消耗的内存较少。静态SQL串会占用大量的内存资源,容易导致内存溢出的<em>问题</em>。 3、在批处理执行的时候,每批执行完成后,最...
java快速批量insert数据
由于要项目准备上线,所以要准备大量测试数据测试新项目的性能,但是又不太会用存储过程和数据库事务进行数据<em>插入</em>。 最开始使用最简单的<em>java</em>的for<em>循环</em>语句不停的add对象,但是发现这个<em>效率</em>太低,要<em>插入</em>几百万数据估计得一天,于是在网上找了下,找到一篇直接使用jdbc直接<em>插入</em>数据的,拿下来试了下发现性能虽然比new对象好,但是<em>效率</em>也很低。 只能再找,终于找到一个很高的,也就是使用批次提交方式的sql
java中对于大量数据采用批量处理来提高效率
设计的话, 是在dao层写批量新增的方法,以及实现类dao的实现类, 在service调用这个dao就可以了!   不过最终走的还是单个只不过是集合的遍历, 所以不用再mapper.xml里面配置方法。 IReconBankOrderCpsBatchDao里面的方法: public interface IReconBankOrderCpsBatchDao { /** * 保存多条
插入大量数据速度慢的解决方法:批量插入
场景: 项目需要导入案件2200条。其中导入的excel每个行案件的信息上包含大约15个联系方式。那么总的联系方式一共用30000条左右 这里<em>优化</em>之前的速度是16-20分钟之间。太慢了。找了好久<em>优化</em>的方法。最后确定了使用mysql批量<em>插入</em>的方法去进行<em>插入</em>操作 慢的原因及解决思路: 这里慢的原因是针对本项目: <em>插入</em>方式为程序遍历<em>循环</em>逐条<em>插入</em>。在mysql上检测<em>插入</em>一条的速度在0.0
更新大数据量效率问题
rnCREATE PROCEDURE sp_Attendance_UpdateArrangeWorkStatern@StartDate nvarchar(50),rn@EndDate nvarchar(50)rnASrnBEGIN TRANSACTIONrn --更新正常上班打卡记录rn--选择记录进行排序rnCREATE TABLE #TempTable1rn(rn ID int IDENTITY PRIMARY KEY,rn CardRecordID int,rn AttendanceNo nvarchar(50),rn EnterTime datetime,rn PersonNo nvarchar(50)rn)rnINSERT INTO #TempTable1(CardRecordID,AttendanceNo,EnterTime,PersonNo)rnSELECT DKJL.CardRecordID,DKJL.AttendanceNo,DKJL.EnterTime,RYJL.PersonNornFROM AD_D_Data_A_DKJL DKJLrnINNER JOIN AD_D_Data_A_RYJL RYJLrnON DKJL.AttendanceNo=RYJL.AttendanceNornWHERE DKJL.Tag=0 ORDER BY DKJL.EnterTime ASCrnrn UPDATE PBJL SET PBJL.State=1,PBJL.EnterTime=DKJL.EnterTime,PBJL.PersonNo2=DKJL.PersonNorn FROM AD_D_Data_A_PBJL PBJL,#TempTable1 DKJLrn WHERE PBJL.PersonNo=DKJL.PersonNorn AND PBJL.WorkDate=CONVERT(char(10),DKJL.EnterTime,20) rn AND PBJL.WorkTime>=CONVERT(char(8),DKJL.EnterTime,8)rn AND DATEDIFF(minute, CONVERT(char(8),DKJL.EnterTime,8), PBJL.WorkTime)=@StartDatern AND CONVERT(char(10),DKJL.EnterTime,20)=@StartDatern AND CONVERT(char(10),DKJL.EnterTime,20)GBAP.StartTimern AND CONVERT(char(8),DKJL.EnterTime,8)=@StartDatern AND CONVERT(char(10),DKJL.EnterTime,20)GBAP.StartTimern AND CONVERT(char(8),DKJL.EnterTime,8)=@StartDatern AND CONVERT(char(10),DKJL.EnterTime,20)<=@EndDaternrnrn --更新下班原始记录标识rn UPDATE DKJL SET DKJL.Tag=1rn FROM AD_D_Data_A_PBJL PBJL,AD_D_Data_A_DKJL DKJL,AD_D_Data_A_RYJL RYJLrn WHERE DKJL.AttendanceNo=RYJL.AttendanceNo AND PBJL.PersonNo=RYJL.PersonNorn AND PBJL.PersonNo=RYJL.PersonNorn AND PBJL.EnterTime= DKJL.EnterTimern AND PBJL.WorkTag=1rn rnrn rnCOMMIT TRANSACTIONrnrnGOrnrn以上是更新考勤数据的存储过程,分4次筛选数据,上午上班,上午下班,下午上班,下午下班,rn请问有没有执行<em>效率</em>高的方法?rn多谢!rnrn打卡记录表 AD_D_Data_A_DKJLrn列名     数据类型 长度 允许空 备注         描述rnCardRecordID int 4 主键         IDrnAttendanceNo nvarchar 50 111130001         考勤编号rnEnterTime      datetime 8 2005-3-15 08:52:00    打卡<em>时间</em>rnMachineNumber nvarchar 50 1            设备编号rnInOutMode   nvarchar 50      I         出入状态rnTag      int 4 0默认值,1已筛选    筛选标识rn
优化一段循环求解
[code=Java]rn public static void mediate(final Event event) rn final Scope scope = event.getScope();rn final DecomposedRoiEntry[] values = registry.get(scope.getAreaLevelHash());rn if (values != null) rn final HashSet consumers = new HashSet(values.length);rn for (int i = 0; i < values.length; i++) rn final DecomposedRoiEntry value = values[i];rn if (value.hasInterest(scope)) rn final EventConsumer eventConsumer = value.getEventConsumer();rn if (!consumers.contains(eventConsumer)) rn consumers.add(eventConsumer);rn eventConsumer.consume(event);rn rn rn rn rn rn[/code]
时间优化方案
<em>时间</em>点<em>优化</em>
Java的一个循环效率问题
rn 我写了一个简单,其中一个看似普通的<em>循环</em>却出乎了我的意料,是用Java写的。其中yz及pow的底数我现在改了一下:rnrn  代码如上,现在<em>问题</em>就是照我的理解方法二应该比方法一快一些才对,而进行了测试方法一需要114ms,方法二需要333ms(进行了多次测试取平均)rn 我现在不知道到底是什么原因,所以上来请教讨论一下,谢谢各位!rn - -|||  没分rn
请教数据循环插入效率问题
我有如下<em>问题</em>:rnrn一个用户购买商品记录表,字段如下:rnrnUserID, GoodsID, GoodsCountrnrn如果一个用户一次购买了多个商品,要把用户的购买行为记录到表中。rn我是把 GoodsID, GoodsCount 分别都做成了用逗号分隔的字符串传入到存储过程中(GoodsID 与 GoodsCount是一一对应的)。rnrn在存储过程中再把GoodsID, GoodsCount 用逗号<em>循环</em>分割,<em>循环</em>的同时<em>插入</em>到上面的表字段中。rnrn不知道是否说明白了?rnrn这样是否比较浪费数据库的性能,因为用户购买了20种商品就要20 次<em>插入</em>数据,如果用户并发量很大性能肯定不是很好,有其他的处理方法吗?rnrn或者是否有更好的表结构?rnrn感谢指教!
mysql插入一百万条数据竟然用了42分钟 有更快的操作吗?为什么会这样慢?
-
java 一次循环中,插入两条相同的数据
这是一个<em>java</em>写的程序,我在读到另一个系统的xml文件后,将数据<em>插入</em>到另一个系统的数据库,在<em>插入</em>前做判断,如果这条记录已经存在,那么更新,没有的话就<em>插入</em>,程序已经运行一年多没有<em>问题</em>了,最近有几个接口
java分批量插入数据(数据量太大)
    1、需求:数据量过大,并且要经常进行<em>插入</em>操作:        分批<em>插入</em>,每次<em>插入</em>600条数据!public void insertList(List&amp;lt;Student&amp;gt; list) { int insertLength = list.size(); int i = 0; while (insertLength &amp;gt; 600) { dao...
大数据量查询问题,求解
现在一个数据库DB1,里面有个表A;另外一个数据库DB2,里面有表B,两数据库都在一个mysql里面rnA有个xy字段,建立了索引,记录约30万rnB有个xy字段,没建立索引,两表的xy字段都是varchar类型,记录约60万rn现在要获得两表中xy字段不相同的所有记录,然后<em>插入</em>DB1的C表中rn要怎么写高<em>效率</em>的sql语句?
oracle数据库大数据量优化问题
我们的电力营销项目以oracle作为后台数据库,在该项目中存在<em>大数据量</em>的计算和数据处理,速度显的特别的慢,有那位大侠能不能教小弟一些oracle数据库通用的数据<em>优化</em>原则,小弟不胜感激!
大数据量优化查询问题
对于一张上百万记录的表,如何在10秒内查询出某一个字段的总和(ex: 金额)
大数据量的DB操作,寻优化方案
数据增加频率为 每24小时 最高500W。rnrn数据库用的是 MYSQL 5.X版rnrn大概业务如下:rnrn数据库存放的为IP地址,将IP地址转变为物理地址替换原字段。rnrnIP地址比对 用的是 纯真数据库的 DAT版本。rnrn目前的方式如下:rnrn查询数据库,每1W条取出一次,单条数据( ID(主键),IPADDRESS(IP地址))放入HASHMAP,然后ADD进ArrayListrnrn<em>循环</em>LIST ,替换IP地址。rnrn<em>插入</em>数据库。rnrn目前实测<em>时间</em>:平均每1W条数据 7-10秒 ,数据库不在本机,局域网连接.rnrn请高人给出些<em>优化</em>的小措施,谢谢
大数据量数据存储的优化方案(银行项目)
针对银行<em>大数据量</em>(过亿)条数据的查询<em>优化</em>处理
Offer_第五章 优化时间效率
目录 5.1<em>时间</em><em>效率</em> 5.1.1数组中出现次数超多一半的数字 5.1.2最小的K个数 5.1.3数据流中的中位数 5.1.4连续子数组的最大和 5.1.51~n 整数中1出现的次数 5.1.6数字序列中某一位的数字 5.1.7把数组排成最小的数 5.1.8把数字翻译成字符串 5.1.9礼物中最大价值 5.1.10最长不含重复字符的子字符串 5.2<em>时间</em><em>效率</em>与空间<em>效率</em>的平衡 ...
剑指offer——优化时间与空间效率
面试题49:丑数 题目描述: 把只包含因子2、3和5的数称作丑数(Ugly Number)。例如6、8都是丑数,但14不是,因为它包含因子7。 习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。 详细代码: # -*- coding:utf-8 -*- class Solution: def GetUglyNumber_Solution(self, index): ...
大数据量插入问题
以前开发的系统,目前要大数据<em>插入</em>操作。3万多条数据,每一条数据20个字段。数据表按月分配。一月一表。rnrn数据库设计时,知道要大量<em>插入</em>,所以没有加主键,只对一个唯一字段修改为unique类型。rnrn代码逻辑。rn读取csv文件一行数据 用fgetcsv函数读取rn<em>插入</em>该条数据,rn判断返回值rnif==0rn代表本月有重复,不理。rnif==1rn代表本月没重复,根据ID查找上个表。看是否有值。rnrn结果==0 rn上表无重复 跳过rnrn结果==1rn修改上表内容,并删除刚<em>插入</em>数据。rnrn这样的逻辑 在上月表中有5W数据,本月表7W数据时。<em>插入</em>3W数据时,IE会出现404错误。不知道如何进一步<em>优化</em>数据库,能让添加更快呢?或者如何能避免IE死掉的<em>问题</em>。rn先感谢耐心看完的前辈们。等待高手指点一二。
winfrom 大数据量插入问题
<em>大数据量</em>?应该也不算大啊 26318 条数据rn代码:rn[code=C#]rn//获取所有车次IDrnpublic DataTable getAllCheci()rnrn String sql = "select Id from t_chec where datediff(second,getdate(),ftime)>0 and datediff(ss,ftime,getdate())
java 大数据量导出Excel的方案
1.先创建一个excel文件。填上要的表头和两条记录。然后另存为网页test.html。 2.用记事本打开网页test.html,就看到源代码。把源代码分成三部分:头+记录行+尾。 3.<em>循环</em>遍历,用io流写文件,格式为&quot;xxx.xls”。 test.html的头代码+记录行代码(已经被替换)+尾代码。...
postgresql 大数据量检索效率问题
现在我有下面这段sql文rnrnSELECT to_char(timegenerated,'YYYY-MM-DD') as timeStr,type as type,count(*) AS num rnFROM table1rnWHERErncreatedate > '某<em>时间</em>'rnGROUP BY timeStr,typernrn现在我table1表里有1000w条数据,执行这段sql文时速度比较慢,怎么<em>优化</em>下,主要是sql文里用到了函数to_char,还有GROUP BY 什么的,影响了速度,有人说先全件检索出来,只是order by一下,然后在后台<em>java</em>代码里去做to_char和group by 的工作,相当于把sql文的工作拿到后台去做,这样<em>效率</em>会比现在的高吗?全部拿出来1000w条哦,后台要<em>循环</em>1000w遍遍历结果集处理我觉得也不会快啊。。。望高人指教
大数据量图元显示效率问题
将<em>大数据量</em>的图元从数据库中查出来,然后显示在地图上,可是<em>效率</em>太低.有什么好的思路或者是好的文章吗?rn谢谢!我用的是mapserverrn
请教:大数据量的取值效率问题
各位小弟小妹,大哥大姐,本弟遇一难题,请各位指教,向各位请教、求教!!!rn本人两个ACCESS数据表tbA、tbB,各表内有数据近1万多条,rn现在要求rn在VB的窗口里的100个 TextBox里,翻动显示tbA表里的数据(一次显示100个)rn当点击“互换”BUTTON的时候,VB的窗口里的100个 TextBox的数据,将显示tbB表的100条数据,并继续翻动,再次点击“互换”BUTTON的时候,textBox里显示tbA表的数据,就这样来互换,要求不能有任何延时!!!rn
大数据量优化
目前有一张表里面有2156507笔数据,我现在想用group by 来汇总,该如何写这个sql语句啊。rn范例如下:rn select P.PRD_NO, P.NAME PRD_NAME, A.PRD_MARK, P.UT UNIT, SUM(isNull(QTY,0)) QTY,rn SUM(isNull(QTY1,0)) QTY1, SUM(isNull(QTY_LN,0)) QTY_LN, SUM(isNull(QTY_BR,0)) QTY_BR,rn SUM(isNull(A.CST_STD,0)) CST_STD, SUM(isNull(A.CST,0)) CSTrn from sprd A with (nolock) rn INNER JOIN PRDT P ON A.PRD_NO=P.PRD_NO rn where YY='2006' and MM='2' AND A.PRD_NO >= 'S20001' AND A.PRD_NO rn group by P.PRD_NO, P.NAME, P.UT, A.PRD_MARKrn
java反射效率优化
看了些博客,自己试一下并总结,如下:import <em>java</em>.lang.reflect.Method; import <em>java</em>.util.Date;class DemoClass{ public String firstName; private String endName; private Date birthDay; private String
重建索引时间太长优化方案
MSSQL索引碎片>30%的时候需要进行重建索引操作(DBCC DBREINDEX(TABLE_ID)),但是对于表记录数上百万的情况下,此操作非常的慢,请问有没有什么好的方法解决此<em>问题</em>?请指教!rnrn备注:硬件设备都算比较好
大数据量的树存储结构及效率
我需要做一个小系统,需要用到树形结构,数据存储在数据库中,每棵树都可以有任意个后代,程序需要通过读数据库,还原任意指定的树,或任意指定节点及其后代 rnrn以前做树的时候,一般都是做树形菜单的时候,没几个项,也没考虑<em>效率</em>,用的是比较常见的表结构: rnrnID | ParentID | Other rnrn现在的话,其数据量可能会达到百万甚至千万级别,数据库操作约70%的查询和30%的更新(<em>插入</em>,更新等),再以上面的结构的话,<em>大数据量</em>下根本难以运行 rnrnrn在网上找了找,在博客园找到了这篇帖子《一种理想的在关系数据库中存储树型结构数据的方法》 rnrnhttp://www.cnblogs.com/xujiaci/archive/2008/06/24/1229080.html rnrn看了一下,感觉不错,但是还没有做测试,感觉查询<em>效率</em>应该可以达到我我要求,可是更新的范围实在是太大,让我有点退缩 rnrn想晚上下班做一下测试看,是不是可以接受这样<em>效率</em> rnrn现在有两个<em>问题</em>,麻烦大家解答一下: rn1.想问一下大家,有没有更好的在数据库中存储树的结构?? rn2.我没有多少<em>大数据量</em>下的数据库操作经验,经常看到,有高手说单表数据量过多时,可以重新建立一个表,把数据存新表中,这让我比较困惑:如果数据量很大,分了10个表的话,那是不是意味着,我查询时,要查询10个表呢? rnrn谢谢大家
大数据量效率
现在的<em>问题</em>是,我们在做一个项目的统计。但是数据量非常的大。可能有几十亿。rn然后独立一个程序专门做统计,在框架选择方面,谁有没有好的意见?在网上看到Hadoop,不知道谁有没有这方面的经验?
关于循环效率问题
int from,to;rnfor(int i = 10 ; i < 100 ; i++)rn //j=i+1避免重复rn from = Math.max(1000/i,i+1);rn to = Math.min(10000/i,100);rn for(int j = from ; j < to ; j++)rn和rnfor(int i = 10 ; i < 100 ; i++)rn for(int j = i+1; j < 100 ; j++)为什么第一个比第二个少<em>循环</em>了
for 循环 效率 问题
有三个list wapList smsList mmsListrnlist都是map mapString主要是cidrnrn现在要<em>循环</em>出来cid sms mms wap 和总收入 的值rn一般做法rnfor(Map wapMap:wapList)rn String wapCid=String.valueOf(wapMap.get("CID");rn for(Map smsMap:smsList)rn String smsCid=String.valueOf(smsMap.get("CID");rn if(wapCid.equals())rn for(Map mmsMap:mmsList)rn String mmsCid=String.valueOf(mmsMap.get("CID");rn rn rn rn
一个循环效率问题
[code=c]float calTotalOverlapModulesArea()rnrn float TotalOverlapModulesArea = 0;rn rn for(int i = 0; i < m_placedb.m_modules.size(); i++)rn rn for(int j = 0; j < m_placedb.m_modules.size(); j++)rn rn float overlapH = min(m_placddb.m_modules[i].m_x+m_placddb.m_modules[i].m_width,m_placddb.m_modules[j].m_x+m_placddb.m_modules[j].m_width)-max(m_placddb.m_modules[i].m_x,m_placddb.m_modules[j].m_x);rn float overlapV = min(m_placddb.m_modules[i].m_y+m_placddb.m_modules[i].m_height,m_placddb.m_modules[j].m_y+m_placddb.m_modules[j].m_height)-max(m_placddb.m_modules[i].m_y,m_placddb.m_modules[j].m_y);rn if(overlapH <= 0) rn continue;rn elsern TotalOverlapModulesArea += overlapH*overlapV;rn rn rn return TotalOverlapModulesArea/2;rn[/code]rnrn我现在这个函数解决的<em>问题</em>是:集合中有几万个无序的单元模块,计算两两间的重叠面积,累加到TotalOverlapModulesArea中,由于两两间会重复计算一次,所以返回面积除以2;rn但是这样下来就是上亿次的<em>循环</em>,非常耗<em>时间</em>,请问有没有什么方法可以提高<em>循环</em><em>效率</em>的?
循环判断的效率问题
void test(int ToBeTest)rnrn int arr[32];rn .rn .rn .rn for (i = 0; i < 32; i++) rn if (ToBeTest&(1<
循环效率问题
一个二维字符串数组100x10000,想把每个都串起来变成一条字符串,用foreach <em>循环</em>速度太慢有没有什么办法能快一点?[code=csharp]string s = "";rn string[,] arr = new string[100, 10000];rn foreach (string str in arr)rn rn s=s+str+",";rn [/code]
for I 循环效率问题
现在想通过FOR<em>循环</em>来更新另外的字段,高手来帮忙,如何做<em>效率</em>比较高?rnrn[code=HTML]rnsql="select * from aaa where b=1"rnrs.open sql,conn,1,1rndo while not rs.eofrn.......... 这里查询所有符合条件的数据rnrs.movenextrnlooprnrs.closernrn想在以上的DO<em>循环</em>里更新另外一个表的数据,怎么写<em>效率</em>比较高rnrn[/code]rnrn可能没描述清楚,再文字描述一下: [color=#FF0000]现在有A,B,C三张表,想把A表里符合条件的数据库找出来,再到B表里查询这些数据,得到B表里的一个该数据所对应的值,再根据这个值去更新C表里的字段.[/color]
ORACLE数据大数据量插入问题请教
大家好,我现在 有一个数据量很大的表,大概有100多万条纪录rnrn现在我要从中间查得到其中10-20万条纪录,把其中的索引id取出来 要保存在一张temp表rnrn现在有什么好的方法可以让速度提上来呢?rnrn<em>插入</em><em>大数据量</em>用insert语句比较慢rnrn大家有没有好的方法.我试过把10-20万纪录写在临时文件,然后再导进库里,但是用工具导需要弹出一个cmd的导入界面.rnrn大家有什么好的方法`~有好的解决方法与简单例子有可以与我联系msn:suver#sina.com (#改为@),领导会有其他奖励:)rn
Java 优化方案:设计模式
Design Pattern 代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般<em>问题</em>的解决<em>方案</em>。这些解决<em>方案</em>是众多软件开发人员经过相当长的一段<em>时间</em>的试验和错误总结出来的。如果你要想在 Java 界做得风生水起,游刃有余,设计模式必不可少,更不可少的更是设计模式的<em>优化</em>技巧。 此 Chat 能学到什么:一说到设计模式,大家知道的都是23种设计...
php的pdo+mysql循环insert效率极低,求解
为了实现办公自动化,我做了一个导入学生表到数据库的小东西,运行虽然没<em>问题</em>,但是<em>效率</em>极低,百度遍网络没有发现解决<em>方案</em>,特来求教。rn想要实现的功能是:rn1,边导入边显示,这个已经实现,但是效果不理想,我想要显示处理结果的时候滚动条始终在最下方这样就能显示最新处理的数据了,下面的代码中我使用了锚点定位,觉得很笨~~~对于这个需求有更好的方法吗?rnrn2,导入时大约前1500条导入非常快,显示的效果也很赞,滚动条狂滚动至最下方(很专业的样子哈),但是到了大约1500条以后就卡壳了,打开数据库select count(*) from stutable,却发现记录是一直在增长,但是页面看上去卡死了,点任何连接都没有响应,同时数据库的行数仍然在增长~~~。这两天百度这个<em>问题</em>,说是InnoDB是行锁并且有事务所以<em>效率</em>比MyIsam低(但是我需要事务,并且好几个项目都在一台服务器上我不能把mysql的引擎改掉)。也有人说用存储过程或事件,但是如果用存储或事件的话就看不到实时处理的效果了。如果要解决的话,我还是希望在当前这个页面就能搞好,因为不能修改my.cnf等之类的配置文件~~~~rnrn主要是第二个<em>问题</em>,折磨了我两天,<em>求解</em>~~~~还有不知道这个<em>问题</em>发在本版好还是数据库版好~~~rn先上代码:rn[code=php]rnrnrnrn rn 批量导入rnrnrn rn rn 批量导入学生信息rn 姓名 导入结果rn rn rnexec("insert into stutable(stuname) values('".$stuname."')")=="1")rn rn return "导入成功!";rn rn elsern rn return "导入失败!";rn rnrn//上传部分不写了,只写<em>插入</em>过程rnif($_POST)rnrn //文件导入rn if($_FILES["stuinfo"]["error"]>0)rn rn echo " 上传文件出错,错误信息:".$_FILES["stuinfo"]["error"]."";rn rn elsern rn $extension=pathinfo($_FILES["stuinfo"]["name"],PATHINFO_EXTENSION);//获取上传文件的扩展名rn $filename="upload/".time().".".$extension;//上传后的文件名rn move_uploaded_file($_FILES["stuinfo"]["tmp_name"],$filename);//将上传的临时文件移动到指定目录rn $file=fopen($filename,"r");//打开文件,然后读取信息rn $stuinfo=array();rn while($data=fgetcsv($file))rn rn array_push($stuinfo,implode($data));rn rn fclose($file);rn rnrn //遍历数组,向数据库insert数据rn print str_repeat(" ",4096);//想实现导入的同时显示进度,先输出一堆空字符rn foreach($stuinfo as $rs)rn rn $addresult="";rn $addresult=" ".$rs." ".addstu($rs)." ";//直接调用addstu方法向数据库写数据rn $addresult.=" ";//想实现导入的同时滚动条始终在最下方,想不到别的方法,只得用锚点定位。请问有更好的方法吗?rn echo $addresult;//输出当前的操作rn ob_flush(); rn flush();rn usleep(1000);//当时无论如何都实现不了边导入边显示,后来加了个sleep就行了,百思不解,请指点rn rnrn?>rn rnrnrnrn[/code]
客户单号重复验证效率优化方案
项目里有个订单导入功能(Excel导入),单号是客户自己定义的,导入需要验证客户的单号在库里是唯一的,现在遇到的<em>问题</em>是数据库数据量不断增大,验证重复<em>效率</em>就很低,尤其当一次性导入量比较大(10W左右订单)。做过一次<em>优化</em>是把库里的单号都取出来在内存中进行比对,这样暂时是达到了目的,但是这个后面数据量越来越大又不是长久之计。请有处理过类似情况的朋友分享下经验。
关于大数据量插入性能问题
在不使用oraclebulkcopy的前提下,rn1.分批次在程序中将数据拼接成一条Insert语句执行rn2.分批次将指定条数的记录拼接成一个字符串,传入存储过程然后解析成Value,执行<em>插入</em>rnrn这两个性能上哪个合适?谢谢
Sqlserver——查询技巧/优化方案——大批量插入的选择(循环插入Or临时表Or表变量插入
         1、<em>循环</em>语句的<em>插入</em><em>效率</em><em>问题</em>                  为<em>循环</em><em>插入</em>语句的外围增加一个显示事务,会大幅度的提高<em>循环</em><em>插入</em>的<em>效率</em>                        eg1: DECLARE @bdate DATETIME DECLARE @edate DATETIME SET NOCOUNT ON DECLARE @i INT=1 DECLARE @q I...
求解程序效率问题
怎样知道一个程序的优劣呢
PHPExcel大数据量导出方案
1.内存限制在256M以内rn2.数据量在100w左右rnrn大神们有什么有什么好的解决<em>方案</em>。利用PHPExcel自带的内存溢出处理还是不能满足需求,希望能给出比较详细的解决<em>方案</em>。
大数据量导出Excel的方案
测试共同条件: 数据总数为110011条,每条数据条数为19个字段。 电脑配置为:P4 2.67GHz,1G内存。 一、POI、JXL、FastExcel比较 POI、JXL、FastExcel均为<em>java</em>第三方开源导出Excel的开源项目。 导出<em>方案</em>一:一次性全部导出到一个Excel文件中。 实际情况均报OutOfMemery错误,以下数据为报OutOfMemery数...
java 导出报表到Excel
http://www.imlqw.com/tag/<em>java</em>
大数据量报表系统的改进方案
如果是行家,提起报表,你是否想起了JasperReports( iReport )、Birt、JFreeReport、水晶报表等?但是,在海量数据<em>问题</em>面前,这些工具都弱爆了。怎么说呢,这些报表工具,的确功能强大、支持可视化的“报表模板”制作,用它来制作公文文件、财务报表、统计汇总表等,非常实用。但是我讲的是一种<em>大数据量</em>的报表,可能不是一张word或者几千条的excel能够导出的,比如说订单报表、销
insert 插入效率问题
我现在做一个将excel中的数据导入到Access数据库中的操作,记录很多,少的时候有5000多条,多得时候有20万多条,但用insert逐条<em>插入</em>实在太慢了,请问有什么好办法么?
mysql 插入效率问题
// <em>插入</em>操作 strsql = "insert into t1 values(2,'lyb')"; mysql_query(&mysql,"START TRANSACTION"); // 开启事务, 如果没有开启事务,那么<em>效率</em>会变得非常低下!耗时非常久 for (int i=0; i<10000; i++) { mysql_query(&mysql,strsql.c_str());
关于数据库插入效率问题
我写了个<em>java</em>程序,用的数据库是<em>java</em>自带的<em>java</em> db,即apache derby,这个嵌入式的数据库,功能完全可以。rn我的程序是这样的,向数据表的一列中<em>插入</em>值,但是要求这个列的值是唯一的,所以建立表时写了unique这个关键词。rn现在比如要向这一列中<em>插入</em>一个值A,但是不知道这个值是不是已经存在于表中了,现在有两种做法:rn1,先查询这一列中是否已经存在值A,若有则不<em>插入</em>,若没有则<em>插入</em>rn2,直接执行<em>插入</em>,如果出现<em>插入</em>失败(违反惟一性约束)则表示表中已经有这个值了,如果没有异常则<em>插入</em>成功。rnrn我想让程序在数据库操作上不要浪费太多的CPU<em>时间</em>,我觉得用第2中方法<em>效率</em>更高(因为第一种得先查询再确定是否更新,而第二种只需执行一个更新,但是却可能抛出异常)。rnrn但是在数据库手册上说,如果频繁出现异常的话会比较影响数据库的<em>效率</em>,现在我又想用第一种方法。rn我想请问有经验的朋友告诉我,到底用哪种方法<em>效率</em>更高?如有原因则更加感谢。rnrn
数据库插入效率问题
用什么方法可以提高数据库的<em>插入</em><em>效率</em>?(sqlserver2008)rn目前的状况是需要 先查询后<em>插入</em>(有重复的记录则数值+1)rnrn我使用的是存储过程(3w多条记录花了十几分钟) 有什么方法可以提高的吗?
Hibernate 处理大数据量方案
大家知道,Hibernate 有 一级 cache (Session 级) 和二级 cache (需另外配置,如 ehcache),以下代码,Hibernate 在处理到大约50000条记录时,就会抛出 OutOfMemoryException, 这是因为,Hibernate 把所有新建的 MiniMessage 对象都放在了 Session 级的缓存中了。 Session session = n...
delphi+Oracle插入效率问题
写了一个再简单不过的存储过程:rnrnSQL> CREATE TABLE TBL(ID NUMBER PRIMARY KEY,NAME VARCHAR2(30));rnrnTable createdrnrnSQL> CREATE OR REPLACE PROCEDURE MYTESTPROrn 2 ASrn 3 BEGINrn 4 INSERT INTO TBL(ID,NAME) VALUES(AISEC.NEXTVAL,'MYTEST');rn 5 END;rn 6 /rnrn目的是为了测试delphi调用oracle存储过程<em>插入</em>纪录的<em>效率</em>rnrn我用adoconnection+ADOStoredProcrn还有用OraSession+OraStoredProcrn<em>循环</em>call存储过程,<em>效率</em>非常低,每秒钟几条纪录,rn但我在Pl/SQL里面直接Call存储过程,非常快,rnrnrndelphi这么<em>循环</em>调用存储过程:rnprocedure TForm1.Button1Click(Sender: TObject);rnvarrn i: integer;rnbeginrn for i := 0 to 5000-1 dorn beginrn orastore.ExecProc;rn end;rnend;rnrnrn哪位大虾能够探讨一下这个<em>问题</em>?rnrnrn
pb插入效率问题
我在pb中利用一个接收窗口接收从发送端定时发送的数据并使用存储过程进行<em>插入</em>sqlserver数据库操作,定时<em>时间</em>1秒内,但该1秒可进行的<em>插入</em>次数可以为很多,我测试的时候发现如果1秒<em>插入</em>40条,连续接收1小时,系统资源好像全部耗在接收<em>插入</em>中,程序其他窗口菜单运行很慢,鼠标移动都有<em>问题</em>,根本无法忍受,但是1秒<em>插入</em>2条,连续1小时<em>问题</em>去不大。在大批量条件下如果强行操作,会造成接收<em>插入</em>错误,会造成新数据无法<em>插入</em>数据库,请问高手如何才能提高<em>效率</em>,特别是在大批量<em>插入</em>中,系统窗口接收同时其他操作正常,程序马上交付测试,务请救助!!
Insert SQL Query插入效率优化
主要针对PostgreSQL,其中部分原则也可以其他数据库: 1. 使用Transaction,减少提交次数。(副作用是难以获取执行进度) 2. (仅)PG中可以使用独有的copy方法。 3. 使用unlogged table。(副作用是降低数据库安全性) 4. (仅)PG中使用<em>插入</em>组,即insert into table_a(col_a, col_b) values(val_a1, val
数据库插入效率太低,怎么优化
创建表rnCREATE TABLE `t` (rn `Id` int NOT NULL default '0',rn `String` varchar(20) default NULL,rn `datetime` datetime default NULLrn) ENGINE=InnoDB DEFAULT CHARSET=gbk;rnrn创建存储过程:rnCREATE PROCEDURE p ()rnBEGINrnDECLARE v INT;rnSET v = 0;rnWHILE v < 100000 DOrninsert into t (id,String,datetime) values (v,'aaa',now());rnSET v = v + 1;rnEND WHILE;rnEND; rnrn执行存储过程:call p();rnrn50分钟过去了,才<em>插入</em>了3万多条记录。rn这是怎么回事呢?那里该<em>优化</em>下?
java大数据量循环Excel解析入库
   前端页面部分&amp;lt;style&amp;gt; .buton{ width: 100px;     height: 24px;     color: white;     background-color: #00b8f5;     border: 1.5px white solid;     font-size: 16px; }&amp;lt;/style&amp;gt;&amp;lt;script&amp;gt;$(fun...
寻找丑数(优化时间和空间效率
要求:把只包含因子2、3和5的数称作丑数(Ugly Number)。例如6、8都是丑数,但14不是,因为它包含因子7。 习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。解题思路:野蛮<em>求解</em>    (1)定义一个函数来判断一个数是不是丑数,能否被2,3,5整除    (2)定义一个函数来查找丑数(每一个数都要逐步判断,<em>时间</em>复杂度高,很多<em>时间</em>都浪费在非丑数上面了)<em>优化</em>方法    只考虑丑...
剑指offer 第五章 优化时间和空间效率
<em>时间</em><em>效率</em> 编程习惯:例如c++中尽量使用引用或指针传递复杂参数等,这些需要在实际中积累,多看看别人的代码实现思路,也许<em>时间</em>复杂度相同,但是常数上可能会有差别 <em>循环</em>和递归的选择,因为递归在子函数调用中会有一些开销,所以通常递归会慢一些,还有就是通常可以写成<em>循环</em>使用动态<em>优化</em> 选择合适的数据结构和算法,例如在查找中,顺序查找、二分查找,hash表查找,<em>时间</em>相差很多,还有在例如max sliding win
剑指offer读书笔记:第五章,优化时间和空间效率
<em>问题</em>01 数组中出现次数超过一半的数字 对于一个数组超过一半的数字就是众数,直接摩尔投票方法,其他的方法都是渣渣。 参考这个博客找出数组中出现次数超过一半的数+ 寻找众数 + 摩尔投票法 <em>问题</em>02 最小的k个数 这道题和求第k小的数的做法是一样的,直接快排的思想去做即可。 其实还可以这么做 <em>问题</em>03 连续子数组的最大和 典型的动态规划DP...
大数据量查询的优化(转载)
http://visualcatsharp.iteye.com/blog/283705 感谢visualcatsharp,学习中 某个库中有一个论坛主帖表,每天增加数千的数据,现在整个表的数据量已经是百万级。由于论坛不断升级,增加了N个字段,为了实现良好的扩展性,将某些字段移到了一个子表中,而子表中的某个字段又是外键关联另一个表。没有添加任何非聚集索引。     当使用top查询N条数据的时候...
大数据量存储过程优化
现有2个存储,经测试发现,第一存储快于第二个存储,可我还是觉得第二个存储会快些。在本地测试第一个存储还过得去,第二个就坑爹了。放到服务器上:第一个还能执行,第二个直接就超时。现在就是搞不懂是服务器的<em>问题</em>还是存储的<em>问题</em>。还有,第二个存储是否真的就比第一个慢? 第一个存储或第二个是否还可以<em>优化</em>。本地数据库,一张表为10000+的数据,服务器上貌似就50000起,或者10W+,我应该怎么<em>优化</em>。[code=SQL]USE [SGPS_SZ]rnGOrn/****** Object: StoredProcedure [dbo].[spMileageStatement] Script Date: 07/19/2012 13:39:32 ******/rnSET ANSI_NULLS ONrnGOrnSET QUOTED_IDENTIFIER ONrnGOrn-- =============================================rn-- Author: rn-- Create date: rn-- Description: rn-- =============================================rnrnALTER PROCEDURE [dbo].[spMileageStatement](rn @CarNo varchar(30),--车牌号rn @CompanyId varchar(100),--驾校idrn @StartDay varchar(20),--开始日期(年月日)rn @EndDay varchar(20),--结束日期rn @StartTime varchar(20),--开始<em>时间</em>(时分秒)rn @EndTime varchar(20)--结束<em>时间</em>rn )rnASrnrn--自定义变量rndeclare @result int--日期相差多少天rndeclare @S datetime--开始<em>时间</em>rndeclare @E datetime--结束<em>时间</em>rndeclare @GpsPath varchar(30)--表名rndeclare @number int--<em>循环</em>种子rndeclare @WHERES VARCHAR(1000)rndeclare @SQL VARCHAR(3000)rndeclare @t varchar(20)rnset @S=CONVERT(Datetime,@StartDay+@StartTime)rnset @E=CONVERT(Datetime,@StartDay+@EndTime)rn--set @GpsPath='dbo.GpsPath'+CONVERT( VARCHAR(8), CAST(FLOOR(CAST(@S AS FLOAT)) AS DATETIME), 112)rnset @number=0rnset @result=DATEDIFF (d,CONVERT(Datetime,@StartDay),CONVERT(Datetime,@EndDay))rnrncreate TABLE #temptb rn( rn TerminalNo varchar(20),rn CarNo varchar(20),rn Gpstime varchar(100),rn CompanyName varchar(50),rn Mileage decimal(18,2),rn)rnrn rndeclare @begin_date datetime declare @end_date datetime select @begin_date = getdate() rn while(@number0rndrop table #temptbrnrnrnrnselect @end_date = getdate() select datediff(ms,@begin_date,@end_date) as '用时/毫秒'rn[/code]rn第二个:rn[code=SQL]USE [SGPS_SZ]rnGOrn/****** Object: StoredProcedure [dbo].[spMileageStatement] Script Date: 07/20/2012 08:54:08 ******/rnSET ANSI_NULLS ONrnGOrnSET QUOTED_IDENTIFIER ONrnGOrn-- =============================================rn-- Author: rn-- Create date: rn-- Description: rn-- =============================================rnrnALTER PROCEDURE [dbo].[spMileageStatement](rn @CarNo varchar(30),--车牌号rn @CompanyId varchar(100),--驾校idrn @StartDay varchar(20),--开始日期(年月日)rn @EndDay varchar(20),--结束日期rn @StartTime varchar(20),--开始<em>时间</em>(时分秒)rn @EndTime varchar(20)--结束<em>时间</em>rn )rnASrnrn--自定义变量rndeclare @result int--日期相差多少天rndeclare @S datetime--开始<em>时间</em>rndeclare @E datetime--结束<em>时间</em>rndeclare @GpsPath varchar(30)--表名rndeclare @number int--<em>循环</em>种子rndeclare @WHERES VARCHAR(1000)rndeclare @SQL VARCHAR(3000)rndeclare @t varchar(20)rnset @S=CONVERT(Datetime,@StartDay+@StartTime)rnset @E=CONVERT(Datetime,@StartDay+@EndTime)rn--set @GpsPath='dbo.GpsPath'+CONVERT( VARCHAR(8), CAST(FLOOR(CAST(@S AS FLOAT)) AS DATETIME), 112)rnset @number=0rnset @result=DATEDIFF (d,CONVERT(Datetime,@StartDay),CONVERT(Datetime,@EndDay))rnrncreate TABLE #temptb rn( rn TerminalNo varchar(20),rn CarNo varchar(20),rn Gpstime varchar(100),rn CompanyName varchar(50),rn Mileage decimal(18,2),rn)rnrn rndeclare @begin_date datetime declare @end_date datetime select @begin_date = getdate() rn while(@number0rndrop table #temptbrnrnrnrnselect @end_date = getdate() select datediff(ms,@begin_date,@end_date) as '用时/毫秒'rn[/code],请大家帮忙看看。
大数据量sql怎么优化
update A set A.usr_id='0000' where A.cust_no in(select cust_no from B where B.task_no='1111111')rnrn因为数据量非常的大(每次几万条),所以更新操作会非常的慢,导致表记录被锁住很久,有什么好的<em>优化</em>sql语句的办法,不要in语句,只要能大大的提高<em>效率</em>都可以,我现在怀疑是性能的主要<em>问题</em>是in语句导致的,不知道还有没有其他原因导致的,请大家帮帮忙,谢谢。。。
大数据量面试题求解
现在有一亿条数据,根据主键ID区分。现在要从中随机的选择100w条数据,要保证<em>效率</em>和随机性,同时一条数据只能取一次。有什么好的思路或者算法没?
java时间求解
每月的第一天输出一句话?
大数据量 update语句 优化??
mysql 中,一百万条记录,根据如下语句更新?还能继续<em>优化</em>吗rnrn[code=SQL]rnrnupdate a set identity=rn(rnselect identity from b where id='002512' rnORDER BY identity desc limit 1 rn) rnwhere rnmsgidentify='002512' and (identity is null or identity='') ;rnrn[/code]rnrn
怎么优化大数据量的查询
正在做一个项目里查询性能<em>优化</em>,对业务不了解,表都定型了,无法修改字段了。rn主表A 20多W条数据,内连接了视图B两次,视图B有20多W条数据,然后又左连接了一个40多W条数据的表,总的查询再group by了一下,被by的字段有十几个,select中有一些字段做了一些sum计算,还select了一些其它字段,where有一些动态生成的查询条件,对应一个搜索页面,搜索条件根据用户选择生成,我做索引前查询需要5分钟,做了之后也要100多秒,原来所有的查询是写在一个存储过程来调用的,动态生成的查询条件也写在过程里,调用一个大视图来查询我前面讲的这些,我把查询条件直接写到视图里的话,可以缩短到50多秒,看来还是写进去比较好啊,但再也没办法再缩短了,要命的是,查询条件还有一些是数值比较的,是通过一些字段的计算再与其比较的,如果在where后面写一些字段的运算再比较,无疑<em>效率</em>很低,也用不上索引,有没有比较好的办法再<em>优化</em>一下。写得有点抽象,也不知你们能不能看懂。唉,不太方便把源代码贴上来。
hibernate大数据量显示优化
1.http://topic.csdn.net/u/20100120/21/68ba1510-6901-4ca7-b089-0ce166cd79bb.html 2.http://topic.csdn.net/u/20091227/20/c367ed02-17d9-4e22-85ba-5c61177fcc97.html 3.http://topic.csdn.net/u/20081030/09/...
优化大数据量的KML数据集
原文发布<em>时间</em>:2014-05-23 作者:毛毛虫在Google Earth的帮助文件中,有对<em>优化</em>大数据集处理的简单说明:https://support.google.com/earth/answer/175007?hl=en在该帮助里,对大型数据文件做了图块化向量数据(Regionating vector data)(仅限专业版)的处理。建议用于大型数据文件;向量数据图块化可限制较高海拔位置显示的...
oralce大数据量查询的优化
mes_mat_txn_r2_hist记录条数:4015745         mes_mat_material_h记录条数:7933411 两个数据表的数据分别都在百万级以上, 原始SQL语句: select * from mes_mat_txn_r2_hist where sid=(select max(a.sid)        from mes_mat_txn_r2_his...
Oracle大数据量操作优化
Oracle<em>大数据量</em>操作<em>优化</em>
大数据量多表查询优化 求解~~
我们公司是个制造厂 数据流量相当大 rnrn现在需要从不同的三张表里取出 工单(就是每批生产的单号) 设备(使用什么设备进行生产) 机台(在哪一个机器的那一条产线的哪一个机台进行加工的) 这几个字段 rnrn要求尽可能高效的取出有一定的扩展性(增加与当前字段相关连的其他字段进来) rnrn需要从哪些方面考虑这个事情 rnrn高效是不是就体现在<em>优化</em>SQL查询语句 建立索引rnrn那扩展性应该从哪些地方来考虑呢? rn
大数据量 面试题求解
A,B是2个数组,里面有百万条记录,B中的元素A中都有,怎么得到A中有的B没有的元素rn数据为 int 型, 无序。 如果是其他数据类型会有什么变化
面对大数据量优化
面对<em>大数据量</em>的<em>优化</em>   0. mysql基础 http://youyu4.iteye.com/admin/blogs/2330441 http://youyu4.iteye.com/admin/blogs/2333291   1. <em>优化</em>sql和索引 <em>优化</em>sql: http://youyu4.iteye.com/admin/blogs/2331378 <em>优化</em>索引: http:/...
mysql大数据量优化
mysql数据<em>优化</em>详介绍:使用连接来代替子查询,使用联合来代替手动创建临时表,事物,使用外键等等
MySQL 大数据量文本插入
导入几万条数据需要等好几分钟的朋友来围观一下! 百万条数据<em>插入</em>,只在一瞬间。呵呵夸张,夸张!! 不到半分钟是真的!   <em>插入</em>指令: load data infile 'c:/wamp/tmp/Data_OutFile.csv' replace into table data_1 character set utf8 fields terminated by ',' enclos
asp.net 页面静态化、生成静态页面实例下载
asp.net 页面、静态化、生成静态页面实例 asp.net 页面、静态化、生成静态页面实例 asp.net 页面、静态化、生成静态页面实例 asp.net 页面、静态化、生成静态页面实例 相关下载链接:[url=//download.csdn.net/download/mmy1210/3378959?utm_source=bbsseo]//download.csdn.net/download/mmy1210/3378959?utm_source=bbsseo[/url]
ppt转为flash下载
能将ppt完美地转换为flash文件,包括声音,这样你就可以像操作flash一样操作演示文稿,而且不怕任何人修改你的文稿。 相关下载链接:[url=//download.csdn.net/download/ahsszbyxy/3843219?utm_source=bbsseo]//download.csdn.net/download/ahsszbyxy/3843219?utm_source=bbsseo[/url]
城市选择二级弹出层下载
仿照51job城市选择的二级弹出层 相关下载链接:[url=//download.csdn.net/download/wy764053561/5536669?utm_source=bbsseo]//download.csdn.net/download/wy764053561/5536669?utm_source=bbsseo[/url]
相关热词 c# 去空格去转义符 c#用户登录窗体代码 c# 流 c# linux 可视化 c# mvc 返回图片 c# 像素空间 c# 日期 最后一天 c#字典序排序 c# 截屏取色 c#中的哪些属于托管机制
我们是很有底线的