求助:关于爬取哔哩哔哩商品评论的问题

击剑boy 2019-05-09 11:50:49
大二学生,非计算机专业,想写一篇关于b站新电商模式(不是会员购)的调查报告。看过一些文章教学,在爬取数据的时候遇到了一些问题。 1.b站up空间内的商品界面在电脑上无对应的界面,于是我只能把手机界面网址复制到pc段浏览器打开。开发者工具中我找到了评论列表的文件,在响应中我看到了json格式的字段,但是不知道从哪里找到对应的地址用requests抓取。 2.我发现另一个问题就是 如图的"alist"文件是分开的,随着网页下拉加载而出现,于是无从下手。 有没有大佬愿意指点一下,万分感谢了
...全文
25 点赞 收藏 1
写回复
1 条回复
一笑程序猴 2019年05月10日
1. 看你的截图右侧有个请求网址:https://xxx这个就是你要请求抓取的地址,请求方式是post请求,切换到参数也应该还有一些相应的参数
2. 分开的是因为列表采用了分页加载,你看一下参数里应该会有一些分页相关的参数
回复 点赞
发动态
发帖子
脚本语言(Perl/Python)
创建于2007-08-27

1.5w+

社区成员

3.3w+

社区内容

其他开发语言 脚本语言(Perl ,Python)
社区公告
暂无公告