【散分】顺便问个WebService传输大数据量的问题-CSDN论坛

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438 结帖率 100%: WebService传输大数据量时的问题,我测试传输10W通过RemotingFormat来序列化，传输到客户端直到绑定到dataGridView上要17S,但是CPU占用非常厉害.后来将序列化的二进制数据进行压缩再传输，好像效果也不是很明显.不知道大家有没有好点的办法
我传输大数据量实在是业务需要,并不是要显示这么多给客户看的,所以就不说分页之类的哈,关键时有没有办法解决CPU占用问题，望高人指点迷津啊,不胜感激！！！！
YY一下：好像网上有个挺流行的名字：张茆,今天突然看到有人说：名字好啊,＂茆＂字，花字无底，柳字无边，简直就是＂残花败柳＂

0 2008-12-15 09:49:23

回复数 54 只看楼主引用举报楼主

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 我这是传输给一个第三方控件的，这样的处理估计就一月一次吧，月底订单汇总时，我们说打印也得几百页，但是没办法，客户说没关系的.就需要这么多，时间倒可以接受，关键是CPU占用有点厉害.如果实在没法的话就只有在他们服务器不忙时才操作这个了,呵呵.

0 2008-12-15 09:53:54

只看TA 引用举报 #1 得分 0

⋅长沙三毛的留言板 ⋅下学期上《软件工程》，请给点意见 更多帖子 关注私信空间博客 长沙三毛 本版专家分：7181 版主: WebService使用HTTP/Soap，处理效率肯定不如Remoting技术：
1）使用差错传输，即只传输修改了的记录
2）使用隔天/周/10天等间隔传输

0 2008-12-15 09:56:18

只看TA 引用举报 #2 得分 10

⋅jinjazz的留言板

⋅哪位了解成熟HIS系统

⋅求图像压缩算法

更多帖子

关注私信空间博客

jinjazz

本版专家分：55956

版主

银牌 2005年2月总版技术专家分月排行榜第二

微软MVP 2009年7月荣获微软MVP称号
2010年7月荣获微软MVP称号
2008年7月荣获微软MVP称号

红花 2005年2月 Delphi大版内专家分月排行榜第一

黄花 2008年5月 .NET技术大版内专家分月排行榜第二
2008年4月 .NET技术大版内专家分月排行榜第二
2004年11月 Delphi大版内专家分月排行榜第二
2004年8月 Delphi大版内专家分月排行榜第二
2004年7月 Delphi大版内专家分月排行榜第二: cup是客户端还是服务器端？你不要直接往控件上榜定，评定webservice的性能直接用测试工具打开，客户端邦定如果数据很多也是很费资源的。另外压缩只能减轻传输压力，对于cpu占有是增加负担的。你还是先找出什么导致cpu高占有率。

0 2008-12-15 09:57:59

只看TA 引用举报 #3 得分 10

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 顶者有分哈.散分也没人来，郁闷

0 2008-12-15 09:58:39

只看TA 引用举报 #4 得分 0

wss1801 本版专家分：267: 数据量大的话用第三方的或微软自带的工具，序列化－压缩然后解压缩－反序列化

0 2008-12-15 09:58:48

只看TA 引用举报 #5 得分 5

⋅埃森哲外包上海 OFFER ⋅[无聊来谈论].net开发15K以上是不是都转管理了 ⋅一张表,有５０列,其中至少有３０列每列长度在１０００字符左右 更多帖子 关注私信空间博客 zhnzzy 本版专家分：12690: 我弄过的WEB SERVIVE传数据给报表打印，好像超过400多页就不太灵了.也就是先序列化后给他传了

0 2008-12-15 10:02:04

只看TA 引用举报 #6 得分 5

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 引用 3 楼 jinjazz 的回复:
cup是客户端还是服务器端？你不要直接往控件上榜定，评定webservice的性能直接用测试工具打开，客户端邦定如果数据很多也是很费资源的。另外压缩只能减轻传输压力，对于cpu占有是增加负担的。你还是先找出什么导致cpu高占有率。

CPU是服务端，客户端还好.主要是服务端序列化的时候,我在想如果在做这个事情的时候同时又有很多人访问的话就挂掉了
我也觉得压缩会给CUP增加负担，所以现在去掉了.我觉得主要是一次性处理那么多数据时而导致CPU占有率高的，不知道有没有其它办法缓解一下?前提是数据量不减的情况下
谢谢近身剪兄的指点

0 2008-12-15 10:02:33

只看TA 引用举报 #7 得分 0

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 引用 6 楼 zhnzzy 的回复:
我弄过的WEB SERVIVE传数据给报表打印，好像超过400多页就不太灵了.也就是先序列化后给他传了

我就是传输给报表打印的，控件内部自带了分页的，所以我就得把我的数据全取给它.如果一次少取些的话那样用户要打印N次，操作不方便用户肯定不接受的.我也用surrogatesample试过,都感觉差不多，主要是CPU占有率的问题,客户端接收数据还好办，开个线程慢慢跑.那也快的

0 2008-12-15 10:06:28

只看TA 引用举报 #8 得分 0

⋅多线程中的lock,Monitor.Wait和Monitor.Pulse ⋅新闻联播我国自主研发的自动闭塞系统可防止动车追尾 ⋅可用分捐赠 更多帖子 关注私信空间博客 gomoku 本版专家分：82866 蓝花 2008年5月 .NET技术大版内专家分月排行榜第三

1. Better to use NetTcpBinding, which uses binary message encoding.
2. If you use Http binding, then you can use MTOM (Message Transmission Optimization Mechanism), which reduces the overhead of encoding:



<wsHttpBinding>

  <binding name="myHttpBinding" messageEncoding="Mtom" />

</wsHttpBinding>

0 2008-12-15 10:08:38

只看TA 引用举报 #9 得分 15

⋅散分求祝福 ⋅奥运喜获金牌榜第2，散粉 ⋅散分求祝福 更多帖子 关注私信空间博客 fellowcheng 本版专家分：16144 红花 2012年7月挨踢职涯大版内专家分月排行榜第一 2012年6月挨踢职涯大版内专家分月排行榜第一: up

0 2008-12-15 10:08:57

只看TA 引用举报 #10 得分 5

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 谢谢gomoku的意见，我去试下

0 2008-12-15 10:13:20

只看TA 引用举报 #11 得分 0

⋅Json字符串反序列化，对象有可能是类，有可能是数组。 ⋅ADO.net超时，查询分析器很快的问题 ⋅MVC发布后报错，The view or its master was not found or no view engine supports the sea 更多帖子 关注私信空间博客 卧_槽 本版专家分：18546: webservice需要自己实现二进制序列化，然后再压缩一下。
.net自带了加密压缩的类库，自己找找。网上也有相关现成的类。
在客户端再自己实现解压和反序列化。

一般文字信息可以达到90%的压缩比。10m以内数据的压缩和解压几乎感觉不到，相对于网络传输占用的时间而言。

这样做可以说让webservice也达到了remoting的传输效率，如果你有空，还可以做一下压缩后的加密，安全性又上一个台阶了。

0 2008-12-15 10:17:36

只看TA 引用举报 #12 得分 5

大头_衍 本版专家分：1524: 学习！！

0 2008-12-15 10:18:43

只看TA 引用举报 #13 得分 5

⋅Json字符串反序列化，对象有可能是类，有可能是数组。 ⋅ADO.net超时，查询分析器很快的问题 ⋅MVC发布后报错，The view or its master was not found or no view engine supports the sea 更多帖子 关注私信空间博客 卧_槽 本版专家分：18546: 引用 7 楼 wangping_li 的回复:
引用 3 楼 jinjazz 的回复:
cup是客户端还是服务器端？你不要直接往控件上榜定，评定webservice的性能直接用测试工具打开，客户端邦定如果数据很多也是很费资源的。另外压缩只能减轻传输压力，对于cpu占有是增加负担的。你还是先找出什么导致cpu高占有率。

CPU是服务端，客户端还好.主要是服务端序列化的时候,我在想如果在做这个事情的时候同时又有很多人访问的话就挂掉了
我也觉得压缩会给CUP增加负担，所以现在去掉了.我觉…

觉得cpu复旦大就申请买个好机器。

0 2008-12-15 10:19:17

只看TA 引用举报 #14 得分 5

⋅高分求activereport7 key ⋅请教XtraReports报表控件编辑问题 ⋅oracle10g权限设置 更多帖子 关注私信空间博客 shikongmocheng 本版专家分：158: WEB Service 下实现大数据量的传输
http://www.cnblogs.com/hhq80/archive/2007/03/15/675872.html

0 2008-12-15 10:20:51

只看TA 引用举报 #15 得分 5

qiying1988 本版专家分：1358 蓝花 2011年7月移动平台大版内专家分月排行榜第三: 10分

0 2008-12-15 10:23:59

只看TA 引用举报 #16 得分 5

wangkk125 本版专家分：188: 不懂
顶下先

0 2008-12-15 10:25:18

只看TA 引用举报 #17 得分 5

⋅权限树取树，设计到一个限制表，求高手解答 ⋅js取IFrame内部dom ⋅记录拆分问题 更多帖子 关注私信空间博客 xxyping 本版专家分：3552: 晕，来晚喽

0 2008-12-15 10:28:32

只看TA 引用举报 #18 得分 5

angker2008 本版专家分：32: 怀着谦虚的心来学习。。记得给分就是

0 2008-12-15 10:28:33

只看TA 引用举报 #19 得分 5

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: To:yuwenge
我就是二进制序列化再压缩的,其实在时间问题上我倒是可以接受，就是有没有什么办法减轻下CPU负担?
如果输转那10几秒CPU基本上是100%,我想的是能控制在70%~80也好很多

0 2008-12-15 10:29:35

只看TA 引用举报 #20 得分 0

byte377 本版专家分：364: UP JF

0 2008-12-15 10:31:52

只看TA 引用举报 #21 得分 5

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 没人来啊，散分也没人接.是不是分太少了?
下班结贴哈

0 2008-12-15 11:20:29

只看TA 引用举报 #22 得分 0

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: up

0 2008-12-15 12:57:10

只看TA 引用举报 #23 得分 0

⋅菜鸟上路，求高人指点一二。关于C#数字图像处理的 ⋅工作三年，比较茫然 ⋅我要去云南双柏县鄂家镇。你们都懂的。 更多帖子 关注私信空间博客 swalp 本版专家分：2259: 接接接。全部接到手！！你敢散我就敢接

0 2008-12-15 13:23:06

只看TA 引用举报 #24 得分 5

⋅菜鸟上路，求高人指点一二。关于C#数字图像处理的 ⋅工作三年，比较茫然 ⋅我要去云南双柏县鄂家镇。你们都懂的。 更多帖子 关注私信空间博客 swalp 本版专家分：2259: 接接接。全部接到手！！你敢散我就敢接

0 2008-12-15 13:23:20

只看TA 引用举报 #25 得分 5

⋅菜鸟上路，求高人指点一二。关于C#数字图像处理的 ⋅工作三年，比较茫然 ⋅我要去云南双柏县鄂家镇。你们都懂的。 更多帖子 关注私信空间博客 swalp 本版专家分：2259: 接接接。全部接到手！！你敢散我就敢接

0 2008-12-15 13:23:33

只看TA 引用举报 #26 得分 5

⋅招聘网页美工【北京】 ⋅招聘医学图形图像处理工程师【北京】 ⋅招聘机械及硬件工程师(北京) 更多帖子 关注私信空间博客 gtx280 本版专家分：7375: 接分

0 2008-12-15 13:32:08

只看TA 引用举报 #27 得分 5

haifeng39 本版专家分：1066: up

0 2008-12-15 14:32:01

只看TA 引用举报 #28 得分 5

⋅Asp.net如何通过编程的方式连接访问DB2 ⋅SharePoint 2007参与讨论权限不同体现寻求帮助？？？ ⋅moss2007 自定义模板登陆后操作菜单中不显示编辑页面菜单 更多帖子 关注私信空间博客 lynn_9527 本版专家分：131: 引用 19 楼 angker2008 的回复:
怀着谦虚的心来学习。。记得给分就是

顶顶

0 2008-12-15 14:35:58

只看TA 引用举报 #29 得分 5

⋅求字符串数组中的最大值 ⋅Vb.net 操作excel单元格 ⋅求博思口语考试复习资料 更多帖子 关注私信空间博客 jiang_jiajia10 本版专家分：33455 黄花 2009年1月 .NET技术大版内专家分月排行榜第二 2008年12月 .NET技术大版内专家分月排行榜第二: UP

0 2008-12-15 14:37:00

只看TA 引用举报 #30 得分 5

dalit 本版专家分：8: 顶

0 2008-12-15 14:45:45

只看TA 引用举报 #31 得分 5

⋅无聊，散分玩儿 ⋅散分吧 ⋅那个说新疆的帖子呢？看完了很感慨，想要回复一下，居然提示被删除了！ 更多帖子 关注私信空间博客 libao1983 本版专家分：392: 引用 2 楼 hulihui 的回复:
WebService使用HTTP/Soap，处理效率肯定不如Remoting技术：
1）使用差错传输，即只传输修改了的记录
2）使用隔天/周/10天等间隔传输

我来支持这个。

0 2008-12-15 14:47:16

只看TA 引用举报 #32 得分 5

⋅如何取一个时间段内所有的月份（急） ⋅一个按范围统计并按月分组的问题较麻烦（急） ⋅问个筛选后数据复制的问题 更多帖子 关注私信空间博客 sxmonsy 本版专家分：15697: 引用 20 楼 wangping_li 的回复:
To:yuwenge
我就是二进制序列化再压缩的,其实在时间问题上我倒是可以接受，就是有没有什么办法减轻下CPU负担?
如果输转那10几秒CPU基本上是100%,我想的是能控制在70%~80也好很多

这个没办法,CPU就是干这个的.

0 2008-12-15 14:55:30

只看TA 引用举报 #33 得分 5

⋅sqlserver 2014 reportingservices的webservice问题 ⋅sqlserver 2014 reportingservices的webservice问题 ⋅Happy birthday to me! 更多帖子 关注私信空间博客 justindreams 本版专家分：4054: 使用异步的方式，可能会稍微好一些吧。

0 2008-12-15 15:15:27

只看TA 引用举报 #34 得分 5

⋅此用户还没有发表过任何帖子 关注私信空间博客 flyjimi 本版专家分：8676 蓝花 2008年12月 .NET技术大版内专家分月排行榜第三: 我是来接分的。

0 2008-12-15 15:27:00

只看TA 引用举报 #35 得分 5

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 引用 32 楼 libao1983 的回复:
引用 2 楼 hulihui 的回复:
WebService使用HTTP/Soap，处理效率肯定不如Remoting技术：
1）使用差错传输，即只传输修改了的记录
2）使用隔天/周/10天等间隔传输

我来支持这个。

我传输的是为了打印报表的，和修改的值无关哦
所以数据肯定有这么多的，试了好多办法，好像实在没法减轻服务器的负担
实在没办只能让客户服务器闲的时候弄了，一个月这么多数据操作就一次吧.谢谢各位的意见

0 2008-12-15 15:47:21

只看TA 引用举报 #36 得分 0

⋅SuperSocket 1.5.3 发布，更好的稳定性

⋅WebSocket协议的服务器端.NET实现

⋅WebSocket协议的服务器端.NET实现

更多帖子

关注私信空间博客

jzywh

本版专家分：17017

GitHub 绑定GitHub第三方账户获取

领英绑定领英第三方账户获取: 换WCF吧，直接用Stream

0 2008-12-15 15:48:47

只看TA 引用举报 #37 得分 5

king_博古 本版专家分：154: 哈哈，lz强人。
接分来了。
PS：张茆,确实不错啊，能够欣赏之是一种美德

0 2008-12-15 16:18:07

只看TA 引用举报 #38 得分 5

⋅asp.net 生命周期 ⋅XmlNode Name的属性 ⋅union all 更多帖子 关注私信空间博客 caicai_45 本版专家分：2143: 看一下能不能想想办法，换个思路，在客户端这边，建立一个内存数据库，把数据填充到这个库，然后从这个库取数据？
瞎说的，哈哈~

0 2008-12-15 16:18:54

只看TA 引用举报 #39 得分 5

FlyBee 本版专家分：695: 接招

0 2008-12-15 16:21:19

只看TA 引用举报 #40 得分 5

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 我换成WCF试了，但是CPU问题还是解决不了，谢谢LS的回答

0 2008-12-15 16:21:58

只看TA 引用举报 #41 得分 0

lchh0917 本版专家分：837: 支持WCF~

0 2008-12-15 16:42:01

只看TA 引用举报 #42 得分 5

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 引用 42 楼 lchh0917 的回复:
支持WCF~

0 2008-12-15 16:48:19

只看TA 引用举报 #43 得分 0

⋅MVC2中如何指定全局的 namespace？ ⋅启用RoleManage后，已登录用户禁止访问某页面，如何跳转至提示页？ ⋅押宝游戏的HTML标题应该显示到document的Title中 更多帖子 关注私信空间博客 clonecenter 本版专家分：21185: CPU的占用率居高不下，应该是在 Web Service 序列化数据的时候出现的。排除其他方法，可以考虑减少一下数据量，将需要的数据分段传输。比如，第一次传第一天的数据，第二次传第二天的数据，直到数据传输完成为止。

0 2008-12-15 17:29:16

只看TA 引用举报 #44 得分 5

liningln0 本版专家分：894: 学习

0 2008-12-15 17:49:28

只看TA 引用举报 #45 得分 5

⋅C# Emit问题->DataReader 转Entity.... ⋅TransactionScope事务问题.总是不能回滚 ⋅【散分】顺便问个WebService传输大数据量的问题 更多帖子 关注私信空间博客 wangping_li 本版专家分：19438: 引用 44 楼 CloneCenter 的回复:
CPU的占用率居高不下，应该是在 Web Service 序列化数据的时候出现的。排除其他方法，可以考虑减少一下数据量，将需要的数据分段传输。比如，第一次传第一天的数据，第二次传第二天的数据，直到数据传输完成为止。

我也这么想的，但是客户一次性要把一个月的订单全打印出来，也就是这些数据要传给报表控件处理的
如果一次性传一点的就得很N次打了，客户说不行，哪怕是500页，他也要一次性打完

0 2008-12-15 18:23:34

只看TA 引用举报 #46 得分 0

yangshenghong 本版专家分：354: 帮着顶一下

0 2008-12-15 18:33:42

只看TA 引用举报 #47 得分 0

yangcom2008 本版专家分：38: 你要传到服务器哪里？数据库?IO?

0 2008-12-15 18:37:14

只看TA 引用举报 #48 得分 0

⋅Parsing Data for android-23 failed ⋅网络硬盘 ⋅有哪位仁兄解决过framework3.5的安装问题 更多帖子 关注私信空间博客 hangang7403 本版专家分：3348: UP

0 2008-12-15 19:03:26

只看TA 引用举报 #49 得分 5

⋅大家推荐一款软件项目进度和质量管理的软件 ⋅请教一个敏捷开发用到的工具 ⋅Oracle XML DB的一个SQL语句问题 更多帖子 关注私信空间博客 net5i 本版专家分：9121: 应用服务器的CPU占用率高？
可不可以考虑在集群里面再多加几个服务器呢？

0 2008-12-15 19:32:38

只看TA 引用举报 #50 得分 5

【散分】顺便问个WebService传输大数据量的问题 [问题点数：200分，结帖人wangping_li]