-
等级
本版专家分：997结帖率 100% -
如题展开阅读全文
-
等级
本版专家分：10850 -
优化，优化不行就换机子去吧~
-
等级
本版专家分：1572 -
分析
-
等级
本版专家分：37754勋章
-
- 金牌 2005年11月 总版技术专家分月排行榜第一
-
- 银牌 2005年12月 总版技术专家分月排行榜第二
-
-
红花
2005年12月 .NET技术大版内专家分月排行榜第一
2005年11月 .NET技术大版内专家分月排行榜第一
-
-
优化sql语句，少用游标，用存储过程，如果是数据的显示，采用分页，每次只把当前页的数据查询出来。
-
等级
本版专家分：997
-
收获颇多!1
-
等级
本版专家分：2614 -
优化是一点。不过再优化也有极限。
如果太久可以提供等待界面，使界面友好化。
像163,google的邮箱等。
-
等级
本版专家分：8204 -
多线程异步处理，可以预处理或者滞后处理的数据分离出来，可以使用DataReader的尽量使用。
在界面上使用进度条，尽量让用户感到时间可以掌控，这样他们的感觉会好些。
- 当一个表的数据量过大，引起存储不够或者查询较慢问题时，应该怎么办？
有两种方式，一是按照特定的数据量，将表切分成不同的表（表结构一致）来存储，新数据插入到新表中，新表的数据量达到约定拆分的数据量时，再建立新表存储；二是按照某种特定的规则来切分表，然后分布式存储，如按照...
- 第116课： Spark Streaming性能优化：如何在毫秒内处理处理大吞吐量的和数据波动比较大 的程序
第116课： Spark Streaming性能优化：如何在毫秒内处理处理大吞吐量的和数据波动比较大 的程序1 大吞吐量和数据波动比较大的程序2 Spark streaming中的解决方案-数据规模非常大，数据的处理会大于batch interval-...
- 数据库服务器处理大量请求响应很慢时的可能解决方法
由于数据库操作是阻塞同步的，因此当一条sql语句处理较长时间时会导致整体处理很慢 一般的解决方法是增加数据库连接数。实际上是增加线程，每个线程一个连接 一般在mysql占用cpu不高的情况下可以不断增加连接跟...
- 教你如何迅速秒杀掉：99%的海量数据处理面试题
教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言 一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢...
- 项目遇到的问题以及解决方法---小程序页面因数据量大带来问题的优化
一 、问题描述：小程序开发中开发一个城市列表选择页，如下： 但是由于接口返回的城市数量过多，导致首屏白页的问题： 怎么优化这个问题？ 1. 首先考虑是把接口返回数据存储为本地文件，进行本地加载，可以节约...
- 实战解决小程序图片加载问题
相较于web端或者H5开发，小程序本身在性能上弱很多（但用户体验上要好）。以前开发时服务器性能过剩在那里帮你撑着脸面，你对自己的代码质量和编程习惯心里没数，小程序就是一面镜子。 废话少说，要解决的问题是，...
- 在数据库中sql查询很快，但在程序中查询较慢的解决方法
在写c#WS的时候，有一个方法查询速度比其他方法慢很多，但在数据库查询很快，原来是因为程序中使用参数化查询时参数类型错误的原因 代码如下 string sql = "SELECT * FROM LIS_V_LABTESTSAMPLE WHERE PATIENT_...
- 数据倾斜原理及解决方案
相信很多接触MapReduce的朋友对'数据倾斜'这四个字并不陌生,那么究竟什么是数据倾斜?又该怎样解决这种该死的情况呢? 何为数据倾斜? 在弄清什么是数据倾斜之前,我想让大家看看数据分布的概念: 正常的数据分布...
- 数据挖掘与数据分析
数据挖掘和数据分析都是从数据中提取一些有价值的信息，二者有很多联系，但是二者的侧重点和实现手法有所区分。 数据挖掘和数据分析的不同之处： 1、在应用工具上，数据挖掘一般要通过自己的编程来实现需要掌握编程...
- Java实现数据批量导入数据库(优化速度-2种方法)
使用JDBC连接MySQL数据库进行数据插入的时候，经常会遇到数据量较大，插入数据库较慢，如何进行优化，加快导入数据库的速度，批量处理呢？以下程序提供了两种方法。程序结构连接数据程序package db; import java.sql...
- SQL Server查询优化方法(查询速度慢的原因很多，常见如下几种)
今天看到一位博友的文章，觉得不错，转载一下，希望对大家有帮助，更多文章，请访问：http://blog.haoitsoft.com1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) 2、I/O吞吐量小，形成了...
- 关于Execl导入大数据量文件的处理思路（实战经验）
Execl作为微软的早期产品，功能强大的同时，性能也相应的差很多，处理大数据量时 尤其明显。最近项目中有一个需求，要求导入人员信息，Execl的数据量大概5000左右， 但是会关联其他表，查询出100万级别的数据量，...
- 插入大量数据速度慢的解决方法：批量插入
场景： 项目需要导入案件2200条。其中导入的excel每个行案件的信息上包含大约15个联系方式...慢的原因及解决思路： 这里慢的原因是针对本项目： 插入方式为程序遍历循环逐条插入。在mysql上检测插入一条的速度在0.0
- mysql查询缓慢原因和解决方案
查询速度慢的原因很多，常见如下几种： 1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) 2、I/O吞吐量小，形成了瓶颈效应。 3、没有创建计算列导致查询不优化。 4、内存不足 5、...
- hadoop 数据倾斜
数据倾斜是指，map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条...
- 五种大数据处理架构
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了...
- 一共81个，开源大数据处理工具汇总
查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache HBase上...Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HB
- 当SqlServer数据量很大时，如何优化表格能加快处理速度
合理使用索引 索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下： ●在经常进行连接，但是没有...
- Spark处理百亿规模数据优化实战
本优化是生产环境下用Spark处理百亿规模数据的一些优化实战，并成功将程序的速度提升一倍（涉及到敏感信息本文在2018-07-04号将其删除，阅读上可能显得不完整）下面介绍一些基本的优化手段 本文于2017-07-16号书写 ...
- python使用pandas处理大数据节省内存技巧
当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。 当然，像Spark这类的工具能够胜任处理100G至几个T的大数据集，但要想充分发挥这些工具的优势，通常需要比较贵的硬件...
- DataGridView数据绑定慢的问题
DataGridView数据绑定慢的问题，关注中.......》一文今天用DataGridView显示大数据时（2万条，WinForm程序），发现速度很慢。因为以前一直使用百条以内的测试数据，所以一直没发现这个问题。跟踪调试时发现在从数据库读
- 重启系统后oracle突然变慢问题解决
昨晚大停电，今早来启动服务器，然后启动数据库，运行本地项目连接的时候，执行一个sql语句需要3分钟，昨天同样的程序执行只需要3秒，oracle查询速度突然变慢，但是对于很多数据量小的表以及简单查询数据量大的表...
- 为什么说程序=算法+数据结构！
没有算法的程序，只是一些代码的堆砌，谈不上是一个优秀的软件。 算法是软件的灵魂，得益于好的算法会给软件带来的往往都是质的变化，性能都是呈指数倍提高滴。 算法比较厉害的~去做大数据分析，数据挖掘，数值分析...
- pycharm因为文件太多加载太慢的解决办法
有的文件时数据集，你把数据集放在工程中，然后pycharm就会给所有文件indexing，然后就会非常慢。并且项目也不能运行。这个时候把数据集所在文件夹变成excluded。意思是不把这个文件包含在工程内。 依次右键点击...
- MySQL处理达到百万级数据时，如何优化？
经测试对一个包含400多万条记录的表执行一条件查询，其查询时间竟然高达40几秒，相信这么高的查询延时，任何用户都会抓狂。因此如何提高sql语句查询效率，显得十分重要。以下是结合网上流传比较广泛的几个查询语句...
- HDFS数据迁移解决方案之DistCp工具的巧妙使用
这时候怎么办,你也许会说,加机器解决,显然这是一个很简单直接但是又显得有些欠缺思考的办法.无谓的加机器只会带来无限上升的成本消耗,更好的办法应该是做到更加精细化的数据存储与管理,比如说非常典型的冷热数据的...
- [转]开源数据仓库解决方案GreenPlum
Greenplum DB 号称是世界上第一个开源的大规模并行数据仓库，最初是基于 PostgreSQL，现在已经添加了大量数据库方面的创新。Greenplum 提供 PD 级别数据量的强大和快速分析能力，特别是面向大数据方面的分析能力，...
- 一条sql执行很慢，可能是因为什么? 怎么优化？
下面是网络中流传最广的一篇sql查询速度慢的原因及解决方法的文章，其对于处理mysql的慢查询有借鉴作用。由于此文转载多次，很难找到最开始的原文链接，就附送本人最先看到此文的链接:...
- 解决PHP里大量数据循环时内存耗尽的方法
最近在开发一个PHP程序的时候遇到如下一...遇到这样的错误起初让我很诧异，但转眼一想，也不奇怪，因为我正在开发的这个程序是要用一个foreach循环语句在一个有4万条记录的表里全表搜索具有特定特征的数据，也就是说
- 解决sql查询快，代码查询慢
项目里一个对数据统计的功能，用到了多表关联查询，最后把汇总数据展示在页面上。最近因为并发量比较大，这个功能变的异常的慢，但是将底层代码里的sql摘出来在SqlServer窗口运行时3秒就可以出结果。经过对网络、...