122
社区成员




这个作业属于哪个课程 | https://bbs.csdn.net/forums/fzusdn-0831 |
---|---|
这个作业要求在哪里 | https://bbs.csdn.net/topics/617213407 |
这个作业的目标 | 1.爬虫 2.AIGC |
学号 | 102299132 |
项目链接:https://github.com/6Yezine/ruangong2
子任务 | 预估哪些部分使用AIGC | 实际中哪些部分使用AIGC |
---|---|---|
安装Copilot库 | 10min | 未完成 |
安装Tkinter | 10min | 完成 |
安装Cursor IDE | 30min | 完成,2h |
爬取与反爬取 | 可以使用,1h | 完成 ,4h |
数据集存储 | 可以使用,1h | 完成 ,5h |
前端界面 | 可以使用,1h | 完成 ,3h |
前端与数据集衔接 | 可以使用,1h | 未完成,已5h |
视频剪辑 | 1h | 未完成 |
总结 | 1h | 完成 |
增加一个反爬取header和间隔3s爬取,认为设定爬取1000-1050,可以保证刚好爬取前50个
一开始是计划用conpilot,但是学生资质认证一直没成功,浪费了很多时间。虽然,后来被迫使用了cursor,但是出乎意料的也蛮好用的。
遇到的最大问题是爬取不下来。这个部分是很久没搞定,问了其他同学的,增加了header后,果然可以爬取了,但是一直爬取不完整。后来又尝试增加间隔爬取时间,增加到3s的时候,能比较稳定的爬取所有的题目和解答。
因此,深深认识到一个项目的成功,不仅需要有耐心,有大胆的想法,而且与“先行者”保持密切沟通,有时也会有意想不到的惊喜。
原计划是全程录屏,剪成一个vlog发表一下。但是目前,前后端衔接还有一些问题,因此视频也就还没开始剪辑,后期会把视频补上。总体感觉还行,耗时真的很长。