如何抓取完整的京东商城产品搜索页？

[hufanrong12345]

使用webbrowser获取：
http://search.jd.com/Search?keyword=u%E7%9B%98&enc=utf-8&wq=u%E7%9B%98&pvid=xbtr8wbi.1y5r95pc
源码，只能获取到搜索产品的前三十个商品，如何才能获取完整的60个商品的源码呢？
求高手解答！

webBrowser1.DocumentTxt;
只能获取前三十个商品的源码，如何才能获取完整的源码呢？

[瑞卡哥哥]

引用 4 楼 hufanrong123 的回复:

引用 3 楼 zhouqinghe24 的回复:

确切的说 京东搜索页 是按30个 一页分页的. 后30个是再次请求 动态增加进去的.

的确是这样，请问怎么把后面的也加上去呢？

http://search.jd.com/s.php?keyword=u%E7%9B%98&enc=utf-8&qrst=1&rt=1&stop=1&click=&psort=&page=2&scrolling=y&start=30&log_id=1436490699.28337&tpl=1_M&vt=2 看到红色的 page=2了吗 改成page=3 就是第3页

[Justin-Liu]

你如果只是要源码的话不用webbrowser呢，用httprequest试试

[瑞卡哥哥]

http://search.jd.com/s.php?keyword=u%E7%9B%98&enc=utf-8&qrst=1&rt=1&stop=1&click=&psort=&page=2&scrolling=y&start=30&log_id=1436490699.28337&tpl=1_M&vt=2 更改page 即可随意抓取你需要的数据了

[瑞卡哥哥]

确切的说 京东搜索页 是按30个 一页分页的. 后30个是再次请求 动态增加进去的.

[hufanrong12345]

引用 3 楼 zhouqinghe24 的回复:

确切的说 京东搜索页 是按30个 一页分页的. 后30个是再次请求 动态增加进去的.

的确是这样，请问怎么把后面的也加上去呢？

[fontain2]

返回的页面中有"共xxx页"的字样，想取全就一页页请求，直到所有页获取完毕，拼到一起就是了

[fontain2]

这种抓取最好还是直接httprequest

[风吹腚腚凉]

引用 4 楼 hufanrong123 的回复:

引用 3 楼 zhouqinghe24 的回复:

确切的说 京东搜索页 是按30个 一页分页的. 后30个是再次请求 动态增加进去的.

的确是这样，请问怎么把后面的也加上去呢？

改变URL不就行了，动态给分页的参数赋值。

[爱人间]

您好，请问解决了么

[kanbor]

是啊，问题最后怎么解决的？

[_小黑_]

数据 应该是动态加上去的 直接 改 page = 多少 这个可能不行

[rualdeng]

同问，最后问题解决方案是啥？

[rualdeng]

引用 11 楼 l397870376 的回复:

数据 应该是动态加上去的 直接 改 page = 多少 这个可能不行

如何动态加上去啊？

[jerrymy7777]

我遇到了同样的问题，改page=2的方法行不同。