下载社会学相关公开数据的简单爬虫 http://www.dingxing.gov.cn/czyslist-394-more. 下载

weixin_39820835 2023-01-21 09:00:45
本程序特为本人正在进行社会学研究的朋友撰写。考虑到人工重复机械下载繁琐耗时,因此撰写一个简单爬虫用于批量下载。本项目可以下载国内各县的财政数据。 用法 第一次运行 本程序依赖于python运行,对于任何需要使用本程序的用户,需要安装python和一些对应包。 使用分为以下几步: 使用终端,切换至当前工作目录。(在终端中输入 cd 当前目录位置即可) 例: cd D:\gov_grabber 填写 xlsx表格 结构为省、市、县、对应目录,备注。 其中目录中各条目对应带有附件的单独新页面。可于本项目data.xlsx进一步查看。 安装python和其对应包。 首先你需要安装python。 其次你需要安装 pandas, chardet, requests 。在终端中输入 pip install pandas chardet, requests 即可 在终端中输入 python main.py 即可 后续使用 对于后续使用,仅需要更新data.xlsx后在在终端中输入 python main.py 即可。程序会跳过已经下载的文件(仍会打印下载信息)。 , 相关下载链接:https://download.csdn.net/download/Mrrunsen/87365784?utm_source=bbsseo
...全文
浏览 回复 打赏 收藏 举报
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复
相关推荐
发帖
下载资源悬赏专区

1.1w+

社区成员

CSDN 下载资源悬赏专区
其他 技术论坛(原bbs)
社区管理员
  • 下载资源悬赏专区社区
加入社区
帖子事件
创建了帖子
2023-01-21 09:00
社区公告
暂无公告