数据库查询大数据时出现超时错误

bigbaldy 2013-06-03 05:37:08

如图所示，因为数据表很大，查询时间较长，大概需要1分30秒，导致出错，不知道在哪修改超时时间，希望大家能帮帮忙

...全文

833 15 打赏收藏转发到动态举报

写回复

15 条回复

切换为时间正序

请发表友善的回复…

发表回复

bigbaldy 2013-06-06

打赏
举报

回复

引用 14 楼 yzf86211861 的回复:

[quote=引用 3 楼 bigbaldy 的回复:] [quote=引用 2 楼 Chinajiyong 的回复:] 优化查询sql，比如给字段建立适当的索引

查询的是一个巨型视图，由多个表构成，每个都上百万，有的是千万数据，还得分组排序，里面还有函数计算，我自己的优化能力已经无法再加快该视图的速度了，而这个需要1分半钟才能查出来的基本上已经是需要处理的最大数据了，所以只要能打开就行，打开一次就有了缓存，以后访问就都快了[/quote] 是这样嘛？我好像觉得这个不会缓存吧。[/quote] 有缓存的，我用的MySql数据库，他每次都是从缓存中读的，若没有则从文件更新到缓存，所以我只要打开一次就会快。我这个由于界面显示时有4层分组，每个分组里都有各自分组元素的数量，也就是说先按A分组，然后在A分组的基础上按B分组，之后在B的基础上按C分组、之后D,每个父组与子组都有数量统计，如果做分页感觉很麻烦，所以后来用了Xpo技术，就是Dev公司XpoDataSource数据控件，自动实现分页，而且效率超高，我试过单表的，1000万数据，耗时几乎是0，翻到最后一页也是这样，不知道他怎么做到的，所以用了XPO技术，每次打开时的确快很多，但每次点击那个展开分组的加号需要等5-6秒，而我目前这种第一次全打开的方式每次点加号几乎不耗时，而用户的主要操作是点击那些加号，一个大的任务，光分组加号就得数百个

Banianer 2013-06-05

打赏
举报

回复

楼主你怎么查询的不会是 select * from tablename ?这样查询的吧？数据要用多少读取多少，我想不至于有很庞大的数据让你一次读取的。

qzyf1992 2013-06-05

打赏
举报

回复

数据仓库。。聚类。。

kelibox 2013-06-05

打赏
举报

回复

資料抓少一些!! ex:只抓ID, 但顯示時才抓數筆詳細資料

yzf86211861 2013-06-05

打赏
举报

回复

引用 3 楼 bigbaldy 的回复:

[quote=引用 2 楼 Chinajiyong 的回复:] 优化查询sql，比如给字段建立适当的索引

查询的是一个巨型视图，由多个表构成，每个都上百万，有的是千万数据，还得分组排序，里面还有函数计算，我自己的优化能力已经无法再加快该视图的速度了，而这个需要1分半钟才能查出来的基本上已经是需要处理的最大数据了，所以只要能打开就行，打开一次就有了缓存，以后访问就都快了[/quote] 是这样嘛？我好像觉得这个不会缓存吧。

yzf86211861 2013-06-05

打赏
举报

回复

你先看你SQL 语句查询出来多长时间。再想办法吧，数据查询超过 1分钟你这程序有什么意义呢，让用户等吗？我个人觉得你这根本还是做SQL 优化。

青春code 2013-06-04

打赏
举报

回复

在配置文件里面连接字符串的节点里面添加timeout属性吧

全栈极简 2013-06-04

打赏
举报

回复

1、数据库层次的优化，加索引 2、用空间换时间，将查询语句分成多个块，在内存中完成匹配

phoebuswei 2013-06-04

打赏
举报

回复

select要怎么写，完全取决于你的表是怎么建立的要加快，最好是，水平分割，或者垂直分割。链表，索引什么的都加上，不知您的结构，只能给这些建议了

Null_Reference 2013-06-04

打赏
举报

回复

分页查询，要几条查几条！配置文件里面可以设置超时时间，好像IIS 和数据库都有超时设置的选项，你找找！

GeneralH 2013-06-04

打赏
举报

回复

你查询的时候，不会一下把数据都查出来吧！你是该一页显示多少吧！

bigbaldy 2013-06-03

打赏
举报

回复

大家帮忙啊！！

bigbaldy 2013-06-03

打赏
举报

回复

引用 2 楼 Chinajiyong 的回复:

优化查询sql，比如给字段建立适当的索引

查询的是一个巨型视图，由多个表构成，每个都上百万，有的是千万数据，还得分组排序，里面还有函数计算，我自己的优化能力已经无法再加快该视图的速度了，而这个需要1分半钟才能查出来的基本上已经是需要处理的最大数据了，所以只要能打开就行，打开一次就有了缓存，以后访问就都快了

EnForGrass 2013-06-03

打赏
举报

回复

优化查询sql，比如给字段建立适当的索引

jiashugui 2013-06-03

打赏
举报

回复

也遇到同样问题，求解！

NathanMarz的大作BigData:Principlesandbestpracticesofscalablereal-timedatasystems介绍了LabmdaArchitecture的概念，用于在大数据架构中，如何让real-time与batchjob更好地结合起来，以达成对大数据的实时处理。传统系统的问题在传统数据库的设计中，无法很好地支持系统的可伸缩性。当用户访问量增加时，数据库无法满足日益增长的用户请求负载，从而导致数据库服务器无法及时响应用户请求，出现超时错误。解决的办法是在Web服务器与数据库之间增加一个异步处理的队列。如下图所示：引入队列当WebServer收到页面请

“我们正在从IT时代走向DT时代(数据时代)。IT和DT之间，不仅仅是技术的变革，更是思想意识的变革，IT主要是为自我服务，用来更好地自我控制和管理，DT则是激活生产力，让别人活得比你好”——阿里巴巴董事局主席马云。数据量从M的级别到G的级别到现在T的级、P的级别。数据量的变化数据管理系统（DBMS）和数仓系统（DW）也在悄然的变化着。传统应用的数据系统架构设计时，应用直接访问数据库系统。当用户访问量增加时，数据库无法支撑日益增长的用户请求的负载时，从而导致数据库服务器无法及时响应用户请求，出现超时的错误。出现这种情况以后，在系统架构上就采用下图的架构，在数据库和应用中间过一层缓冲隔离，缓解数

1.使用socket的方式设置连接超时（通用）这个主要是通过使用socket.connect()方法建立连接，其连接主要需要用到ip和相关端口号（记得是int类型哟）具体使用方法如下：tryif (!System.out.println("读取超时");}else{System.out.println("连接超时");2.使用DriverManager.setLoginTimeout()方法来设置超时。

经常会处理大批量千万级的数据，一直以来都没问题。最近在处理时确出来了经常超时，程序跑一段时间就得停下来重启服务器，根据几次的调整发现了问题的所在，产生这类问题主要是以下几点所导致： 1、数据库连接未关闭，大量操作数据库时，连接未关闭的话，会导致连接过多数据库卡死。 2、检查数据库的超时时间设置过短。 3、索引：数据库操作期间太多的索引导致产生很多碎片，清理和重新...

一、使用NodeJSLambda函数查询RDSMySQL数据库最近，我第一次尝试了AWSlambda。我的任务是查询RDSMySQL数据库。在这篇文章中，我将分享我的经验。第一次尝试：使用内联代码编辑器自从我使用NodeJS以来，第一件事就是找出一个好的MySQL节点包。幸运的是，我找到了这个MySQL库，并且它也有不错的文档，编写代码很简单。由于能够快速完成代码，因此我跳入Lambda控制台内联代码编辑器，复制并粘贴了代码，并对其进行了测试。但是，出错了。我得到的错误如下：我发现AWS本身不支持

62,039

社区成员

669,050

社区内容

发帖

与我相关

我的任务

javascript云原生企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章