37,720
社区成员
发帖
与我相关
我的任务
分享求助:关于爬取哔哩哔哩商品评论的问题
大二学生，非计算机专业，想写一篇关于b站新电商模式(不是会员购)的调查报告。看过一些文章教学，在爬取数据的时候遇到了一些问题。
1.b站up空间内的商品界面在电脑上无对应的界面，于是我只能把手机界面网址复制到pc段浏览器打开。开发者工具中我找到了评论列表的文件，在响应中我看到了json格式的字段，但是不知道从哪里找到对应的地址用requests抓取。
2.我发现另一个问题就是 如图的"alist"文件是分开的，随着网页下拉加载而出现，于是无从下手。
有没有大佬愿意指点一下，万分感谢了
2.我发现另一个问题就是 如图的"alist"文件是分开的，随着网页下拉加载而出现，于是无从下手。
有没有大佬愿意指点一下，万分感谢了
...全文
请发表友善的回复…
发表回复
一笑程序猴 2019-05-10
- 打赏
- 举报
1. 看你的截图右侧有个请求网址：https://xxx这个就是你要请求抓取的地址，请求方式是post请求，切换到参数也应该还有一些相应的参数
2. 分开的是因为列表采用了分页加载，你看一下参数里应该会有一些分页相关的参数
2. 分开的是因为列表采用了分页加载，你看一下参数里应该会有一些分页相关的参数
