-
等级
本版专家分：2849结帖率 97.01% -
我现在要做一个模块,要通过WEB SERVICE 访问SQL,可能要连续读几十个表,其中几个表的数据可能达到10W条,那么把这些DATASET返回到本地进行处理,比如插入操作,请问怎么提高效率,我试验过,返回一个10W条记录的DATASET时,CPU已经占用到了98%,请问怎么解决?展开阅读全文
-
等级
本版专家分：2849
-
N天了,还没人回答....
有人做过压缩的方法么?
-
等级
本版专家分：7 -
只有控制数据量，才能提高效率，数据表上多使用索引。操作时尽量使用SELECT TOP 10 * FROM 表名来操作，插入语句使用SQL语句就可以了，不要使用DATASET的更新办法，否则惨死。
-
等级
本版专家分：2849
-
TO : GUYIGOOD
有没有你说的方法的代码? 怎么把一个大数据集用SELECT TOP 10 分段找出?
-
等级
本版专家分：86
-
1、优化你的数据库表。
2、所有语句写成存储过程。
3、优化SQL语句。
select top 10分段找出？？
表中总有关建列。比如日期等。
写复合语句查寻某个段的数据，本人不提倡这样做。
-
等级
本版专家分：35
-
什么情况下要一次取这么多数据啊？？？
-
等级
本版专家分：2769
-
有毛病。。。我只能这么说
如果你实在是要一次取出这么多数据，，那就写个临时表吧。。写完了以后从表里选出适当的数据显示。。分页操作嘛。。。干嘛一次性把所有数据都选出来。。不是摆明了消耗服务器资源吗？？
-
等级
本版专家分：2849
-
TO: KILLERLIU
老兄,我没办法的,我现在要做的是要把服务器上的数据取出,不是作分页用,是要导入到客户端的ACCESS表..
而且要取的表还不是一个,是N个.
-
等级
本版专家分：2849
-
顶上去问!@
用压缩怎么压缩?
-
等级
本版专家分：5812 -
.net与java交互的压缩方式较为简单的实现方式是用gzip格式，java本身有gzip的支持，.net没有相应的类库，我使用了开源项目sharpziplib来实现.net端的压缩功能。
经过试验，传输相同的字串，起码能够让长度减少三分之二，并且有效减低CPU的利用率。
代码如下：
1、C#端代码
public static string Compress(string uncompressedString)
{
byte[] byteData=System.Text.Encoding.UTF8.GetBytes(uncompressedString);
MemoryStream ms=new MemoryStream();
Stream s=new GZipOutputStream(ms);
s.Write(byteData,0,byteData.Length);
s.Close();
byte[] compressData=(byte[])ms.ToArray();
ms.Flush();
ms.Close();
return System.Convert.ToBase64String(compressData,0,compressData.Length);
}
public static string DeCompress(string compressedString)
{
// string uncompressedString=string.Empty;
StringBuilder sb=new StringBuilder(40960);
int totalLength=0;
byte[] byteInput=System.Convert.FromBase64String(compressedString);
byte[] writeData=new byte[4096];
Stream s=new GZipInputStream(new MemoryStream(byteInput));
while(true)
{
int size=s.Read(writeData,0,writeData.Length);
if(size>0)
{
totalLength+=size;
sb.Append(System.Text.Encoding.UTF8.GetString(writeData,0,size));
}
else
{
break;
}
}
s.Flush();
s.Close();
return sb.ToString();
}
2、Java端代码
public static String compress(String s) throws IOException{
ByteArrayInputStream input = new ByteArrayInputStream(s.getBytes("UTF-8"));
ByteArrayOutputStream output = new ByteArrayOutputStream(1024);
GZIPOutputStream gzout = new GZIPOutputStream(output);
byte[] buf=new byte[1024];
int number;
while ((number = input.read(buf)) != -1){
gzout.write(buf,0,number);
}
gzout.close();
input.close();
String result =new BASE64Encoder().encode(output.toByteArray());
output.close();
return result;
}
public static String decompress(String data) throws IOException{
ByteArrayOutputStream output = new ByteArrayOutputStream(1024);
ByteArrayInputStream input = new ByteArrayInputStream(new BASE64Decoder().decodeBuffer(data));
GZIPInputStream gzinpt = new GZIPInputStream(input);
byte[] buf = new byte[1024];
int number = 0;
while((number = gzinpt.read(buf)) != -1){
output.write(buf,0,number);
}
gzinpt.close();
input.close();
String result = new String(output.toString("UTF-8"));
output.close();
return result;
}
在web service服务器端加压，java客户端的调用解压，使用web service的性能得到了提升。
但觉得这样还是不能彻底的解决问题，下一步准备做的改进主要有两点，一是把服务器把返回的大数据量压缩成zip文件以attachment的格式返回给java客户端，另一个是在内部网络以tcp soap的方式进行调用，辅以多线程的技术，更有效地利用服务器的多CPU与并实现服务的分流，使web service不必依赖于IIS（当然啦，这些都需要WSE的支持）。
-
等级
本版专家分：55
-
返回的数据存成临时的xml文件,然后压缩,压缩后会很小.返回 byte[].
- 从WEB SERVICE 上返回大数据量的DATASET
前段时间在做一个项目的时候,遇到了要通过WEB SERVICE从服务器上返回数据量比较大的DATASET,当然，除了显示在页面上以外，有可能还要用这些数据在客户端进行其它操作。查遍了网站的文章,问了一些朋友,也找了一些解决...
- 从WEB SERVICE 上返回大数据量的DATASET[转]
众所周知,如果不用其它方法,直接从WEB SERVICE上传回一个10W条记录的DATASET,可想而知的后果是什么,CPU要占用 100%,且要等上几分钟,这是任何一个项目都无法忍受的.在我上网找资料的过程中,试验了几种不同的方法,如...
- 从WEB SERVICE 上返回大数据量的DATASET
前段时间在做一个项目的时候,遇到了要通过WEB SERVICE从服务器上返回数据量比较大的DATASET,当然，除了显示在页面上以外，有可能还要用这些数据在客户端进行其它操作。查遍了网站的文章,问了一些朋友,也找了一些解决...
- 从WEB SERVICE 上返回大数据量的DATASET[转]
众所周知,如果不用其它方法,直接从WEB SERVICE上传回一个10W条记录的DATASET,可想而知的后果是什么,CPU要占用 100%,且要等上几分钟,这是任何一个项目都无法忍受的.在我上网找资料的过程中,试验了几种不同的方法,如...
- 从WEB SERVICE 中数据压缩策略(转)
前段时间在做一个项目的时候,遇到了要通过WEB SERVICE从服务器上返回数据量比较大的DATASET,当然，除了显示在页面上以外，有可能还要用这些数据在客户端进行其它操作。查遍了网站的文章,问了一些朋友,也找了一些解决...
- C#基础教程-c#实例教程，适合初学者
本章介绍C#语言的基础知识，希望具有C语言的读者能够基本掌握C#语言，并以此为基础，能够进一步学习用C#语言编写window应用程序和Web应用程序。当然仅靠一章的内容就完全掌握C#语言是不可能的，如需进一步学习C#语言...
- 一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考
本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来...
- 通过压缩SOAP改善XML Web service性能
也意味着在网络上传输内容需要更少的时间，对于使用文本通信的客户端服务器应用程序来说，将会表现出更高的效率，例如XML Web services。 <br />本文的主要目的就是寻找在客户端和服务器之间使交换的数据尺寸...
- 数据湖入门
一、数据湖概念[了解] 1.1 企业的数据困扰 困扰一：互联网的兴起和数据孤岛 困扰二：非结构化数据 困扰三：保留原始数据 补充：什么是结构化？ 结构化数据 非结构化数据 半结构化.
- ASP.Net提供了三个数据控件，;这三个控件属于数据Web控件，分别是DataGrid，DataList和Repeater。
一般都是从datagrid开始的（至少我是这样开始的），每种数据控件 都有其自身的缺陷，因此在程序设计中并不存在最完美的选择。你必须权衡三种控件的优缺点并决定哪一种更加适合你的程序。三者共同点1。都是用来显示...
- 通过压缩SOAP改善XML Web service性能
引用自:http://www.dotnetjunkies.com/Article/46630AE2-1C79-4D5F-827E-6C2857FF1D23.dcikhttp://dev.csdn.net/develop/article/24/24920.shtm 压缩文本是一个可以减少文本内容尺寸达80%的过程。这意味着存储压缩...
- 玩转Spring
Spring框架是目前Java企业级开发中必不可少的一门技术，而Spring包含的内容又极其丰富，对于初学者来说无从把握，而该技术的更新速度相对快，如现在企业中用纯注解的方案，网上也很难找到全注解方案。 本套视频，主要讲解Spring 3.2.9的使用，对使用者的要求：已经会使用Struts 2和Hibernate 4等技术，同时对Spring的IOC有一些了解。 能够采用Struts 2.3 + Spring 3.2 +JDBC搭建项目 能够了解AOP概念和AOP在项目中的使用 会使用三种声明方式进行事务管理 IOC的注解方式完成SSH 在Myeclipse 2015中进行SSH快速搭建 采用Eclipse完成SSH框架搭建及功能实现
- Java基础概述-Java基础视频_深入浅出精华版
本课程讲解了Java语言概述及环境搭建和配置 学完后可独立完成HelloWorld案例，并能够解决常见的开发小问题。
- 华为机考题库(全）
包括招聘的机考题，及面试过程中会问到的数据结构的相关内容，排序算法全部包括并且有改进算法，一点点改进可以让你表现的与众不同，如果好的话给点评价吧亲
- Springboot+Poi实现Excel的导入导出
主要是springboot+myBatis+poi+mysql的使用，从数据库查询到结果集导出excel到本地，从本地中的excel文件导入到数据库中。
- 微信小程序源码-合集1.rar
【微信小程序-源码合集】该合集主要整理 包含交友互动、节日祝福、金融行业、旅游行业、论坛系列、美容行业！
- 敏捷开发V1.0.pptx
敏捷开发PPT 敏捷开发以用户的需求进化为核心，采用迭代、循序渐进的方法进行软件开发。在敏捷开发中，软件项目在构建初期被切分成多个子项目，各个子项目的成果都经过测试，具备可视、可集成和可运行使用的特征。换言之，就是把一个大项目分为多个相互联系，但也可独立运行的小项目，并分别完成，在此过程中软件一直处于可使用状态。
- Notepad++ 7.9.1
notepad++是一个免费的、开放源码的文本和源代码编辑器。notepad++是用c++编程语言编写的，它以减少不必要的功能和简化过程而自豪，从而创建了一个轻便高效的文本记事本程序。实际上，这意味着高速和易访问的、用户友好的界面。 notepad++已经存在了将近20年，没有任何迹象表明它的受欢迎程度会下降。记事本绝对证明了你不需要投资在昂贵的软件来编写代码从舒适的自己的家。自己尝试一下，你就会明白为什么Notepad能坚持这么久。
- Claymore-Dual-Miner：下载以太坊矿工（2020年更新）-源码
Claymore-Dual-Miner：下载以太坊矿工（2020年更新）
- 个人简历模板
优质简历模板，目前最前全的模板收藏，需要换工作的小伙伴们可以试试
- matlab神经网络30个案例分析
【目录】- MATLAB神经网络30个案例分析(开发实例系列图书) 第1章 BP神经网络的数据分类——语音特征信号分类1 本案例选取了民歌、古筝、摇滚和流行四类不同音乐，用BP神经网络实现对这四类音乐的有效分类。 第2章 BP神经网络的非线性系统建模——非线性函数拟合11 本章拟合的非线性函数为y=x21+x22。 第3章 遗传算法优化BP神经网络——非线性函数拟合21 根据遗传算法和BP神经网络理论，在MATLAB软件中编程实现基于遗传算法优化的BP神经网络非线性系统拟合算法。 第4章 神经网络遗传算法函数极值寻优——非线性函数极值寻优36 对于未知的非线性函数，仅通过函数的输入输出数据难以准确寻找函数极值。这类问题可以通过神经网络结合遗传算法求解，利用神经网络的非线性拟合能力和遗传算法的非线性寻优能力寻找函数极值。 第5章 基于BP_Adaboost的强分类器设计——公司财务预警建模45 BP_Adaboost模型即把BP神经网络作为弱分类器，反复训练BP神经网络预测样本输出，通过Adaboost算法得到多个BP神经网络弱分类器组成的强分类器。 第6章 PID神经元网络解耦控制算法——多变量系统控制54 根据PID神经元网络控制器原理，在MATLAB中编程实现PID神经元网络控制多变量耦合系统。 第7章 RBF网络的回归——非线性函数回归的实现65 本例用RBF网络拟合未知函数，预先设定一个非线性函数，如式y=20+x21-10cos（2πx1）+x22-10cos（2πx2）所示，假定函数解析式不清楚的情况下，随机产生x1,x2和由这两个变量按上式得出的y。将x1,x2作为RBF网络的输入数据，将y作为RBF网络的输出数据，分别建立近似和精确RBF网络进行回归分析，并评价网络拟合效果。 第8章 GRNN的数据预测——基于广义回归神经网络的货运量预测73 根据货运量影响因素的分析，分别取国内生产总值（GDP），工业总产值，铁路运输线路长度，复线里程比重，公路运输线路长度，等级公路比重，铁路货车数量和民用载货汽车数量8项指标因素作为网络输入，以货运总量，铁路货运量和公路货运量3项指标因素作为网络输出，构建GRNN，由于训练数据较少，采取交叉验证方法训练GRNN神经网络，并用循环找出最佳的SPREAD。 第9章 离散Hopfield神经网络的联想记忆——数字识别81 根据Hopfield神经网络相关知识，设计一个具有联想记忆功能的离散型Hopfield神经网络。要求该网络可以正确地识别0~9这10个数字，当数字被一定的噪声干扰后，仍具有较好的识别效果。 第10章 离散Hopfield神经网络的分类——高校科研能力评价90 某机构对20所高校的科研能力进行了调研和评价，试根据调研结果中较为重要的11个评价指标的数据，并结合离散Hopfield神经网络的联想记忆能力，建立离散Hopfield高校科研能力评价模型。 第11章 连续Hopfield神经网络的优化——旅行商问题优化计算100 现对于一个城市数量为10的TSP问题，要求设计一个可以对其进行组合优化的连续型Hopfield神经网络模型，利用该模型可以快速地找到最优（或近似最优）的一条路线。 第12章 SVM的数据分类预测——意大利葡萄酒种类识别112 将这178个样本的50%做为训练集,另50%做为测试集,用训练集对SVM进行训练可以得到分类模型,再用得到的模型对测试集进行类别标签预测。 第13章 SVM的参数优化——如何更好的提升分类器的性能122 本章要解决的问题就是仅仅利用训练集找到分类的最佳参数，不但能够高准确率的预测训练集而且要合理的预测测试集，使得测试集的分类准确率也维持在一个较高水平，即使得得到的SVM分类器的学习能力和推广能力保持一个平衡，避免过学习和欠学习状况发生。 第14章 SVM的回归预测分析——上证指数开盘指数预测133 对上证指数从1990.12.20-2009.08.19每日的开盘数进行回归分析。 第15章 SVM的信息粒化时序回归预测——上证指数开盘指数变化趋势和变化空间预测141 在这个案例里面我们将利用SVM对进行模糊信息粒化后的上证每日的开盘指数进行变化趋势和变化空间的预测。 若您对此书内容有任何疑问，可以凭在线交流卡登录中文论坛与作者交流。 第16章 自组织竞争网络在模式分类中的应用——患者癌症发病预测153 本案例中给出了一个含有60个个体基因表达水平的样本。每个样本中测量了114个基因特征，其中前20个样本是癌症病人的基因表达水平的样本(其中还可能有子类), 中间的20个样本是正常人的基因表达信息样本, 余下的20个样本是待检测的样本(未知它们是否正常)。以下将设法找出癌症与正常样本在基因表达水平上的区别，建立竞争网络模型去预测待检测样本是癌症还是正常样本。 第17章SOM神经网络的数据分类——柴油机故障诊断159 本案例中给出了一个含有8个故障样本的数据集。每个故障样本中有8个特征，分别是前面提及过的：最大压力(P1)、次最大压力(P2)、波形幅度(P3)、上升沿宽度(P4)、波形宽度(P5)、最大余波的宽度(P6)、波形的面积(P7)、起喷压力(P8)，使用SOM网络进行故障诊断。 第18章Elman神经网络的数据预测——电力负荷预测模型研究170 根据负荷的历史数据，选定反馈神经网络的输入、输出节点，来反映电力系统负荷运行的内在规律，从而达到预测未来时段负荷的目的。 第19章 概率神经网络的分类预测——基于PNN的变压器故障诊断176 本案例在对油中溶解气体分析法进行深入分析后，以改良三比值法为基础，建立基于概率神经网络的故障诊断模型。 第20章 神经网络变量筛选——基于BP的神经网络变量筛选183 本例将结合BP神经网络应用平均影响值（MIV，Mean Impact Value）方法来说明如何使用神经网络来筛选变量，找到对结果有较大影响的输入项，继而实现使用神经网络进行变量筛选。 第21章 LVQ神经网络的分类——乳腺肿瘤诊断188 威斯康星大学医学院经过多年的收集和整理，建立了一个乳腺肿瘤病灶组织的细胞核显微图像数据库。数据库中包含了细胞核图像的10个量化特征（细胞核半径、质地、周长、面积、光滑性、紧密度、凹陷度、凹陷点数、对称度、断裂度），这些特征与肿瘤的性质有密切的关系。因此，需要建立一个确定的模型来描述数据库中各个量化特征与肿瘤性质的关系，从而可以根据细胞核显微图像的量化特征诊断乳腺肿瘤是良性还是恶性。 第22章 LVQ神经网络的预测——人脸朝向识别198 现采集到一组人脸朝向不同角度时的图像，图像来自不同的10个人，每人5幅图像，人脸的朝向分别为：左方、左前方、前方、右前方和右方。试创建一个LVQ神经网络，对任意给出的人脸图像进行朝向预测和识别。 第23章 小波神经网络的时间序列预测——短时交通流量预测208 根据小波神经网络原理在MATLAB环境中编程实现基于小波神经网络的短时交通流量预测。 第24章 模糊神经网络的预测算法——嘉陵江水质评价218 根据模糊神经网络原理，在MATLAB中编程实现基于模糊神经网络的水质评价算法。 第25章 广义神经网络的聚类算法——网络入侵聚类229 模糊聚类虽然能够对数据聚类挖掘，但是由于网络入侵特征数据维数较多，不同入侵类别间的数据差别较小，不少入侵模式不能被准确分类。本案例采用结合模糊聚类和广义神经网络回归的聚类算法对入侵数据进行分类。 第26章 粒子群优化算法的寻优算法——非线性函数极值寻优236 根据PSO算法原理，在MATLAB中编程实现基于PSO算法的函数极值寻优算法。 第27章 遗传算法优化计算——建模自变量降维243 在第21章中，建立模型时选用的每个样本（即病例）数据包括10个量化特征（细胞核半径、质地、周长、面积、光滑性、紧密度、凹陷度、凹陷点数、对称度、断裂度）的平均值、10个量化特征的标准差和10个量化特征的最坏值（各特征的3个最大数据的平均值）共30个数据。明显，这30个输入自变量相互之间存在一定的关系，并非相互独立的，因此，为了缩短建模时间、提高建模精度，有必要将30个输入自变量中起主要影响因素的自变量筛选出来参与最终的建模。 第28章 基于灰色神经网络的预测算法研究——订单需求预测258 根据灰色神经网络原理，在MATLAB中编程实现基于灰色神经网络的订单需求预测。 第29章 基于Kohonen网络的聚类算法——网络入侵聚类268 根据Kohonen网络原理，在MATLAB软件中编程实现基于Kohonen网络的网络入侵分类算法。 第30章 神经网络GUI的实现——基于GUI的神经网络拟合、模式识别、聚类277 为了便于使用MATLAB编程的新用户，快速地利用神经网络解决实际问题，MATLAB提供了一个基于神经网络工具箱的图形用户界面。考虑到图形用户界面带来的方便和神经网络在数据拟合、模式识别、聚类各个领域的应用，MATLAB R2009a提供了三种神经网络拟合工具箱（拟合工具箱/模式识别工具箱/聚类工具箱）。
- 微信小程序源码-合集6.rar
微信小程序源码，包含：图片展示、外卖点餐、小工具类、小游戏类、演绎博览、新闻资讯、医疗保健、艺术生活等源码。
- C#高性能大容量SOCKET并发完成端口例子（有C#客户端）完整实例源码
例子主要包括SocketAsyncEventArgs通讯封装、服务端实现日志查看、SCOKET列表、上传、下载、远程文件流、吞吐量协议，用于测试SocketAsyncEventArgs的性能和压力，最大连接数支持65535个长连接，最高命令交互速度达到250MB/S（使用的是127.0.0.1的方式，相当于千兆网卡1Gb=125MB/S两倍的吞吐量）。服务端用C#编写，并使用log4net作为日志模块； 同时支持65536个连接，网络吞吐量可以达到400M。
- 征服Python Flask视频课程
本课程的内容包括Python Flask开发环境安装，Python Flask的基础知识（request、response、cookie、session、重定向、静态资源等），Jinja2模板、数据库（MySQL和NoSQL数据库）、web表单、电子邮件等内容。通过对本课程的学习，以及利用项目实战课程《美团网》，可以更深如掌握Flask Web框架的使用方法，并可以实际开发Web应用。 本课程的目的是让学员了解Python Flask框架的核心知识，并利用这些知识编写基于Python的Web应用。
- 2020简历模板合集.rar
2020简历模板合集
- 从零基础开始用Python处理Excel数据.pdf
首先学习Python的基础知识，然后使用Python来控制Excel，做数据处理。 Excel使用者、Python爱好者、数据处理人员、办公人员等 第1章 python基础 1.1 什么是python？ 1.2 为什么要学习用Python处理Excel表格？ 1.3 手把手教你安装python程序 1.3.1 下载python 1.3.2 安装python 1.3.3 验证是否安装成功 1.4 安装Python集成开发工具PyCharm 1.4.1 下载 1.4.2 安装 1.5 Python的输入与输出
- jdk1.8 64位官方正式版 jdk-8u91-windows
jdk1.8 64位官方正式版 jdk-8u91-windows
- C#入门必看实力程序100个
C#入门必看含有100个例字,每个例子都是针对C#的学习关键知识点设计的,是学习C#必须知道的一些程序例子,分享给大家，需要的可以下载
- Origin 2018 安装资源+安装教程
该TXT文档包含以下内容：Origin 2018 安装包的百度云链接（永久）以及 Origin 2018 的安装教程。
- 七夕情人节表白HTML源码(两款)
七夕节、情人节表白用的HTML源码(两款)