如何快速抓取网页信息

[ada85932]

公司参与网络竞拍，需要向一个竞拍网站get和post各类数据，我们开发了一个软件，网络竞拍耗时1秒，但还是屡屡被其他竞争对手抢先一步，竞争激烈到毫秒级别，特向站内各位大神请教，如何才能开发出速度更快的软件。
请问用什么对象速度最快：xmlhttp、ServerXmlHttp、winhttp、Wininet、inet、winsock 。。。
用什么语言开发速度最快：vb，c++，c#。。。还有人说cUrl。。。
需要支持https，请各位不吝赐教，如有实测图最好，感谢！

我们现在用vb的winhttp，发现在头一次访问一个页面时速度较慢，第二三次时还行，不知何故。

[赵4老师]

上骨干网 ?

[ada85932]

另外，在提高效率方面，各位大大还有什么其他建议吗

[ada85932]

和竞拍网站同一个ip，在找机房，没找到 WinSocket不知道是否支持https 。WinSocket是vb里面的Winsock控件吗 图片没下载，就抓源码的 骨干网 是啥东西，哪里能租到

[笨狗先飞]

租一台这个服务器在一个网里的服务器， 从这台服务器去抓数据 当然，更有技术含量的就是找个黑客直接黑进服务器。

[舉杯邀明月]

Winhttp对象，用的就是IE内核。 IE浏览器的速度，跟其它几款知名浏览器相比，慢到什么程度，不用我说你也明白吧！ 我觉得： 如果想提速，应该按http协议、通过WinSocket相关API，模拟“浏览器”的行为与网站进行交互。 毕竟不需要显示，也就不需要“渲染引擎”这一块，比真正的浏览器还是省了不少。 获取到“网站数据”后，只需要分析、提取数据，然后进行相应的“应答”就行了。

[脆皮大雪糕]

耗时一秒，说明你们去下载图片啥啥啥的了，如果已经明确web结构，以及明确需要提交啥了，抓到第一个html就已经可以提取必要的信息，然后往回发东西了

[笨狗先飞]

1。winsock不适合处理你要的东西。有可能速度会更慢。 2。考虑一下用vb以外的软件来实现。 3。考虑使用多台电脑大量的请求来抢拍。 4。骨干网指的是网络接入商之间的主通讯网络，找联通，电信之类的ISP服务商。

[ada85932]

引用 7 楼 bakw 的回复:

1。winsock不适合处理你要的东西。有可能速度会更慢。 2。考虑一下用vb以外的软件来实现。 3。考虑使用多台电脑大量的请求来抢拍。 4。骨干网指的是网络接入商之间的主通讯网络，找联通，电信之类的ISP服务商。

现在就是想找程序员用不同语言和不同控件进行效率对比测试，尽快选出一个最高效的语言和使用的控件。 但是我不是it界的，如何找人困惑着我。

[ada85932]

另外也想在论坛发帖讨论，能找到确切的最高效的开发语言和使用的控件。

[舉杯邀明月]

看楼主的“言论”，总是在纠结用“哪种语言”………… 我觉得你是不是把“重点”搞错了！ 这个特定的需求：“思路、方法（算法）、代码质量”才是关键的， 另外一个方面就是“运行环境”：硬件水平、网络质量（通讯带宽/速度，服务器延迟等）， 相对而言，“语言”根本就没多大关系……

[ada85932]

引用 10 楼 Chen8013 的回复:

看楼主的“言论”，总是在纠结用“哪种语言”………… 我觉得你是不是把“重点”搞错了！ 这个特定的需求：“思路、方法（算法）、代码质量”才是关键的， 另外一个方面就是“运行环境”：硬件水平、网络质量（通讯带宽/速度，服务器延迟等）， 相对而言，“语言”根本就没多大关系……

恩恩，有点执着了，有人推荐openssl和Python，不知是否有点优势

[ada85932]

引用 10 楼 Chen8013 的回复:

看楼主的“言论”，总是在纠结用“哪种语言”…………


我觉得你是不是把“重点”搞错了！
这个特定的需求：“思路、方法（算法）、代码质量”才是关键的，
另外一个方面就是“运行环境”：硬件水平、网络质量（通讯带宽/速度，服务器延迟等），
相对而言，“语言”根本就没多大关系……

这是别人做的HTTP各个版本速度对比.Microsoft.XMLHTTP，MSXML2.XMLHTTP
这2个对象相比其他对象速度要快五分之四，这是非常离谱的


原帖在http://bbs.eyuyan.com/read.php?tid=388409&page=1

[舉杯邀明月]

openssl 怎样我不清楚。 但我的观点是：在这些“应用”面前，Python肯定比不上VB6，毕竟它是“解释型”的。 单从“语言”上来说，你这个用C++写肯定是最好的， 但重要的“前提条件”：必须是“优质代码”。

[舉杯邀明月]

那个“速度”，多次测试，者是相似的结果吗？ 如果是“偶然的”，那么根本就不能作为评价标准。 还有： 你有没有那个的源码？ 最好自己先搞清楚他是“如何使用”的、分析一下没有没“影响公平性”的其它因素， 然后自己选取合适的语言环境，用相应的方法实际测试，看具体结果。

[赵4老师]

无profiler不要谈效率！！尤其在这个云计算、虚拟机、模拟器、CUDA、多核 、多级cache、指令流水线、多种存储介质、……满天飞的时代！

[无·法]

引用 6 楼 ada85932 的回复:

和竞拍网站同一个ip，在找机房，没找到 WinSocket不知道是否支持https 。WinSocket是vb里面的Winsock控件吗 图片没下载，就抓源码的 骨干网 是啥东西，哪里能租到

不要费心思找同ip了，人家肯定是独立服务器独立ip，至少也应该是vps啊，你以为虚拟主机啊，根本不可能的！如果是虚拟主机你们刷几下就挂了