httpclient抓取百度结果页面数据异常,高分求助

mayee 2012-09-04 02:46:23

本人做了个站长工具,目的是获取关键词在百度的排名.主要原理是获取百度结果页面html源代码并分析。
百度结果页面是下面这个：
http://www.baidu.com/s?wd=csdn&rn=100

没有使用webclient类，使用的是一个网友封装的httpclient类，来自http://www.cnblogs.com/deerchao/archive/2007/08/09/849361.html

以前一直运行良好，没出过什么大问题。

前段时间3sb大战，百度不知道调整了什么，现在获取的 http://www.baidu.com/s?wd=csdn&rn=100 页面html源代码残缺不全：

<!DOCTYPE html>
...
...
...
'y':'F874FB57' }" href="http://www.baidu.com/link?
url=bdc29e59ed3b794b1e7db22cbdbcbd9f9acac19f6c0aa3ed218bb790f48053
227b04b2fe20d3bfd631e10f917cedde03629e4041a
c7c97b0b749efab0c187a50833570dcd5e6b6c3e5646ff0d4e0d3137f46034631
c28378bb7c4e5a9aa8d261df4347630c50c0d9f80192
c9c30b67cf398c23a7d0a0952a17554bc207e247c2f26ab71012c94336e55fb3fb
2bc092bde2d6e55ea4033fa2ec2167547947b523e34
cdd2cd9f00e3d4cc300b3d6e7facc22bc045289ac295795bb69a108ff66f0d1cf3
d143fd

明显看到最后代码是被截断了。

然后用asp 和 php 测试了一下，结果类似，html都是不全。
不过用浏览器测试，是没问题的。

求各位大神帮忙解答，先奉送100分，不够再加。

...全文

211 12 打赏收藏转发到动态举报

写回复

12 条回复

切换为时间正序

请发表友善的回复…

发表回复

「已注销」 2012-09-05

打赏
举报

回复

[Quote=引用 7 楼的回复:]
...
另外,我用的类对底层封装的比较好，看不到我软件发包情况。请问有没有什么软件可以检测我这软件的发包?
[/Quote]
你去下载个 wireshare 吧，专业的网络包分析工具。
工具是你自己开发的，你稍微改下程序，做一个请求记录不久行了....

mayee 2012-09-05

打赏
举报

回复

今天百度又能用了，估计是百度服务器那边问题。
感谢大家帮助，结贴

yonglaixiazaide 2012-09-04

打赏
举报

回复

浏览器能做的我们都能做。。干扰就是验证码

yonglaixiazaide 2012-09-04

打赏
举报

回复

+1
[Quote=引用 6 楼的回复:]
火狐下，HttpFox
[/Quote]

yonglaixiazaide 2012-09-04

打赏
举报

回复

+1
[Quote=引用 6 楼的回复:]
火狐下，HttpFox
[/Quote]

mayee 2012-09-04

打赏
举报

回复

[Quote=引用 6 楼的回复:]

火狐下，HttpFox
[/Quote]

多谢.

另外,我用的类对底层封装的比较好，看不到我软件发包情况。请问有没有什么软件可以检测我这软件的发包?

「已注销」 2012-09-04

打赏
举报

回复

火狐下，HttpFox

mayee 2012-09-04

打赏
举报

回复

[Quote=引用 4 楼的回复:]

抓浏览器的的发送包，跟你自己的对比下，估计是你请求信息的问题
[/Quote]

能不能推荐一些抓浏览器包的工具,多谢

「已注销」 2012-09-04

打赏
举报

回复

抓浏览器的的发送包，跟你自己的对比下，估计是你请求信息的问题

mayee 2012-09-04

打赏
举报

回复

自己mark下

httpclient.jar下载包括code.jar包

httpclient-4.5所需jar包，里面包含httpclient-4.5.jar等等10个必须的开发包

httpclient需要的各种jar包 commons-codec-1.7.jar commons-httpclient.jar commons-logging-1.1.1.jar httpclient-4.2.2.jar httpcore-4.2.2.jar

commons-httpclient-3.0.jar

HttpClient4.2.1版本，内有所需的该版本jar包

110,539

社区成员

642,577

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章