求助:关于爬取哔哩哔哩商品评论的问题

击剑boy 2019-05-09 11:50:49

大二学生，非计算机专业，想写一篇关于b站新电商模式(不是会员购)的调查报告。看过一些文章教学，在爬取数据的时候遇到了一些问题。 1.b站up空间内的商品界面在电脑上无对应的界面，于是我只能把手机界面网址复制到pc段浏览器打开。开发者工具中我找到了评论列表的文件，在响应中我看到了json格式的字段，但是不知道从哪里找到对应的地址用requests抓取。

2.我发现另一个问题就是如图的"alist"文件是分开的，随着网页下拉加载而出现，于是无从下手

。有没有大佬愿意指点一下，万分感谢了

...全文

136 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

一笑程序猴 2019-05-10

打赏
举报

回复

1. 看你的截图右侧有个请求网址：https://xxx这个就是你要请求抓取的地址，请求方式是post请求，切换到参数也应该还有一些相应的参数
2. 分开的是因为列表采用了分页加载，你看一下参数里应该会有一些分页相关的参数

python爬取b站视频封面逛b站的时候总会遇到封面好看的视频，其评论区里一片“交封不杀[doge]”的景象。如果遇到不爱看评论的up主，那就只能求助于某神秘网址了（笑）。神秘网址：https://bilicover.magecorn.com/. 实际上只要懂一点代码就会发现b站视频的封面的非常容易爬到。一般网页的图片都以jpg的形式呈现在源代码中，以b站首页的源代码为例。在b站的首页源代码里搜索jpg字样，会发现jpg链接都以类似的代码呈现： src="//i1.hdslb.com/bfs/archi

需求采集特定用户下面的视频分析首先是获取到用户视频的列表然后进行翻页获取所有视频的ID 进行视频的下载实践通过观察发现用户的下面的视频列表来自特定的API 翻页也是修改pn=的参数即可通过API拿到的数据的格式类似 {"code":0,"message":"0","ttl":1,"data":{"list":{"tlist":{"1":{"tid":1,"cou...

（3）希望什么样的发展。记错时间了，以为9点交，结果八点四十...1. 100%2. 10%3. 9%第二题没思考，光顾着写第三题了，第二题把不可能情况列出来了，混了10%，第三题内存。技术团队，氛围好，同事都很和善，欢迎各位同学联系我职位描述：在这里，你可以参与高性能分布式服务端程序的系统设计，为淘宝天猫的产品提供强有力的支持，在海量的网络访。笔试了几家，自己真的是菜的抠脚，两次笔试加起来A不过一道，我真的想给自己两巴掌，一笔试就紧张的不行，看着倒计时脑子一片空白，真的不想干了#笔试#请使劲骂我！

Byon2024-04-08擅长 YouTube 脚本分析和总结you-tube脚本分析总结你是一位 YouTube 视频字幕分析与总结的专家。1. **嘉宾概况**:- 分析字幕中的信息，列出每位嘉宾的姓名、职业和专长。格式如下:嘉宾概况:- 姓名: XXX- 职业: XXX- 专长: XXX(如果信息不全，注明)(如有多个嘉宾，每位嘉宾单独列出)2. **内容主旨与目的**:- 用 1-2 句话概括视频的主要内容、主题和目的，保持简洁。

2024 机器学习/深度学习/Python数据分析可视化/必过毕业设计选题

37,743

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章