社区
脚本语言
帖子详情
求助:关于爬取哔哩哔哩商品评论的问题
击剑boy
2019-05-09 11:50:49
大二学生,非计算机专业,想写一篇关于b站新电商模式(不是会员购)的调查报告。看过一些文章教学,在爬取数据的时候遇到了一些问题。 1.b站up空间内的商品界面在电脑上无对应的界面,于是我只能把手机界面网址复制到pc段浏览器打开。开发者工具中我找到了评论列表的文件,在响应中我看到了json格式的字段,但是不知道从哪里找到对应的地址用requests抓取。
2.我发现另一个问题就是 如图的"alist"文件是分开的,随着网页下拉加载而出现,于是无从下手
。 有没有大佬愿意指点一下,万分感谢了
...全文
136
1
打赏
收藏
求助:关于爬取哔哩哔哩商品评论的问题
大二学生,非计算机专业,想写一篇关于b站新电商模式(不是会员购)的调查报告。看过一些文章教学,在爬取数据的时候遇到了一些问题。 1.b站up空间内的商品界面在电脑上无对应的界面,于是我只能把手机界面网址复制到pc段浏览器打开。开发者工具中我找到了评论列表的文件,在响应中我看到了json格式的字段,但是不知道从哪里找到对应的地址用requests抓取。 2.我发现另一个问题就是 如图的"alist"文件是分开的,随着网页下拉加载而出现,于是无从下手。 有没有大佬愿意指点一下,万分感谢了
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
一笑程序猴
2019-05-10
打赏
举报
回复
1. 看你的截图右侧有个请求网址:https://xxx这个就是你要请求抓取的地址,请求方式是post请求,切换到参数也应该还有一些相应的参数
2. 分开的是因为列表采用了分页加载,你看一下参数里应该会有一些分页相关的参数
python
爬取
b站视频封面
python
爬取
b站视频封面 逛b站的时候总会遇到封面好看的视频,其
评论
区里一片“交封不杀[doge]”的景象。如果遇到不爱看
评论
的up主,那就只能
求助
于某神秘网址了(笑)。 神秘网址:https://bilicover.magecorn.com/. 实际上只要懂一点代码就会发现b站视频的封面的非常容易爬到。一般网页的图片都以jpg的形式呈现在源代码中,以b站首页的源代码为例。在b站的首页源代码里搜索jpg字样,会发现jpg链接都以类似的代码呈现: src="//i1.hdslb.com/bfs/archi
bilibili视频
爬取
与水印去除
需求 采集特定用户下面的视频 分析 首先是获取到用户视频的列表 然后进行翻页 获取所有视频的ID 进行视频的下载 实践 通过观察发现用户的下面的视频列表来自特定的API 翻页也是修改pn=的参数即可 通过API拿到的数据的格式类似 {"code":0,"message":"0","ttl":1,"data":{"list":{"tlist":{"1":{"tid":1,"cou...
题解 | #Puzzle: Arithmetic Square#
(3)希望什么样的发展。记错时间了,以为9点交,结果八点四十...1. 100%2. 10%3. 9%第二题没思考,光顾着写第三题了,第二题把不可能情况列出来了,混了10%,第三题内存。技术团队,氛围好,同事都很和善,欢迎各位同学联系我职位描述:在这里,你可以参与高性能分布式服务端程序的系统设计,为淘宝天猫的产品提供强有力的支持,在海量的网络访。笔试了几家,自己真的是菜的抠脚,两次笔试加起来A不过一道,我真的想给自己两巴掌,一笔试就紧张的不行,看着倒计时脑子一片空白,真的不想干了#笔试#请使劲骂我!
【持续更新】常用提示词工程收集
Byon2024-04-08擅长 YouTube 脚本分析和总结you-tube脚本分析总结你是一位 YouTube 视频字幕分析与总结的专家。1. **嘉宾概况**:- 分析字幕中的信息,列出每位嘉宾的姓名、职业和专长。格式如下:嘉宾概况:- 姓名: XXX- 职业: XXX- 专长: XXX(如果信息不全,注明)(如有多个嘉宾,每位嘉宾单独列出)2. **内容主旨与目的**:- 用 1-2 句话概括视频的主要内容、主题和目的,保持简洁。
2024 机器学习/深度学习/Python数据分析可视化/必过毕业设计选题
2024 机器学习/深度学习/Python数据分析可视化/必过毕业设计选题
脚本语言
37,743
社区成员
34,212
社区内容
发帖
与我相关
我的任务
脚本语言
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
复制链接
扫一扫
分享
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
试试用AI创作助手写篇文章吧
+ 用AI写文章