洛谷用户空间爬取器下载

weixin_39821228 2020-06-29 04:01:28

洛谷用户空间爬取器，运行即开始爬取用户空间，注意要现在同目录下建立一个叫users_space的文件夹
相关下载链接：//download.csdn.net/download/zhuchengyang/10962492?utm_source=bbsseo

...全文

19 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

洛谷用户空间爬取器，运行即开始爬取用户空间，注意要现在同目录下建立一个叫users_space的文件夹

LuoguCrawler | 洛谷爬虫【停止更新】lin_toto 明确禁止了洛谷的脚本使用 Quick Start 注意：luogu/ 文件夹为必备内容，请不要直接拷贝 example*.py 代码直接运行下载至本地，并解压运行相关脚本 cd LuoguCrawler py example_download.py Scripts 下载你的所有 AC 代码效果图：快速下载你所有的 AC 代码洛谷用户爬取多线程爬下用户信息其他脚本截图 Config 修改 config.json 内容某些特定脚本或许有需要配置的地方（将会修复） myUrl = "https://www.luogu.org/space/show?uid=72813" myID = 72813 TODO 详见 Credits 感谢洛谷开发组提供的灵感，也感谢使用我 Repo 的各位 LICENSE LowguN

洛谷题库爬虫更新心得出现的错误：代码心得前一篇博客内写的代码在运行过程中还出了很多错误。而且洛谷网页也有一些奇怪的地方，会使程序报错，因此花两天修改了代码，十分感谢大佬的指点。写代码就是不断找错和不断改错的过程，还得继续虚心学习。出现的错误：换关键词后网页源代码元素有变化，导致无法用原来的语句循环定位。出现了无法换关键词的问题。洛谷网页跳转慢，经常出现会爬取到上一页的内容或者无法获取下一页元素的问题，需要爬取前time.sleep()几秒。爬取效率太慢，需要优化程序甚至换思路。发现xlsxwriter逐列导入excel表格最多只能导入两列，超过两列即报错。发现是有列表没有获取

基于Python3开发的洛谷在线评测平台多线程数据爬取工具_包含用户信息抓取AC代码下载排行榜数据采集题目内容解析_用于批量获取用户提交记录分析题目难度分布辅助算法竞赛训练_使用r.zip

用python+selenium库爬洛谷题库（人生第一个爬虫）心得代码心得开始前的工作：我选择用scrapy框架来写爬虫，安装scrapy框架也是一个挺艰辛的路程。我先尝试不用国内镜像网站来安装，果然不行；然后使用国内镜像网站,代码:pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple ，速度果然飞起但最后还是安装失败。上CSDN上找原因，发现还需要先安装一个twisted库，需要在https://www.lfd.uci.edu/~gohlke/pythonlibs/上找到跟本机python版本和位数一致的版本下载，

下载资源悬赏专区

13,655

社区成员

12,586,982

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章