怎样获取动态加载网站的完整html中的下载url

[不知取啥名]

类似应用宝排行榜：http://sj.qq.com/myapp/category.htm?orgame=1
这样的网页，往下面拖，会一直加载。但是我鼠标右键查看“页面源代码”的html文本，总数只显示排在最前面的40个应用的链接URL信息。我想要遍历获取1000个甚至更多的应用链接怎么办？
求大神指教，谢谢！

[lzding]

往下拉的时候，都会到这里来取数据，返回 json 数据


http://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=0&pageSize=20&pageContext=40
.......
http://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=0&pageSize=20&pageContext=200
http://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=0&pageSize=20&pageContext=220

[小林sumc]

楼上正解，这种是最好弄的，直接用php把这些包抓过来，用json_decode()解开，然后直接使用

[不知取啥名]

引用 2 楼 lpw32682770 的回复:

楼上正解，这种是最好弄的，直接用php把这些包抓过来，用json_decode()解开，然后直接使用

两位大神，没有学习过这块，如果我要获取1000个这样的链接，代码怎么实现？请指教，谢谢

[不知取啥名]

引用 1 楼 lzding 的回复:

往下拉的时候，都会到这里来取数据，返回 json 数据 http://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=0&pageSize=20&pageContext=40 ....... http://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=0&pageSize=20&pageContext=200 http://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=0&pageSize=20&pageContext=220

你好，我在用Java开发一个程序，如果要批量获取1000个应用的链接，代码怎么实现上面的这个功能呢？

[Go 旅城通票]

引用 4 楼 shj0605010318 的回复:

[quote=引用 1 楼 lzding 的回复:] 往下拉的时候，都会到这里来取数据，返回 json 数据 http://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=0&pageSize=20&pageContext=40 ....... http://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=0&pageSize=20&pageContext=200 http://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=0&pageSize=20&pageContext=220

你好，我在用Java开发一个程序，如果要批量获取1000个应用的链接，代码怎么实现上面的这个功能呢？[/quote] 晕。。。链接地址都给你还不会，修改pageContext参数就好了。。你要加载1000个那不是pageContent=500， 下拉每次只加载20个

[不知取啥名]

谢谢，我明白你的意思了，更换后面的数字。 我开始时想学习，假如加载处理的链接没有规律，怎样加载网页，获取链接。 谢谢你们，非常感谢

[不知取啥名]

大神，可以再问你一个其他的问题吗？ jsoup我现在在看，会一点点解析了。但是对于下面的函数怎么解析呢？ <script> // 详情页的命名空间 var detail = (function () { return { 'sid': 214664, 'sname': '神庙逃亡2', 'type': 'game', 'cid1': 2, 'cid2': 102245, 'pname': 'com.imangi.templerun2', 'downloadUrl': 'http://shouji.360tpcdn.com/150429/2196b11956e5156b1b542f09c427a76b/com.imangi.templerun2_4531.apk', 'filemd5': '2196b11956e5156b1b542f09c427a76b', 'vcode': '4531', 'baike_name': '神庙逃亡2官方版 Android_com.imangi.templerun2' }; })(); </script> 我就想获取downloadUrl的链接值，和baike_name文件名。我已经获取了整个页面的HTML文本了。这两个字段怎么解析出来呢？