爬取noaa的温度数据(pdf)

qq_39595196 2017-09-16 10:15:56
https://www.ncdc.noaa.gov/IPS/mcdw/mcdw.html?_finish=0.9502874846140924
网页是这个,想把里面的所以pdf都爬出来,从1948年05月到2017年05月。
谢谢您!
...全文
417 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
qq_39595196 2017-09-20
  • 打赏
  • 举报
回复
谢谢您!我先试一下,非常感谢。可能是外国网站的原因,因此有点慢。
xiaozhanger 2017-09-20
  • 打赏
  • 举报
回复
你要爬的这个网站真慢啊,浪费大量时间 大概看了下,要爬的网页url清晰, 每个月份的url基本形如:https://www.ncdc.noaa.gov/IPS/mcdw/mcdw.html?_page=0&publicationDate=2017-01&_target1=Next+%3E, 然后做了跳转, pdf网页也是很规整,估计没有什么反爬, <a class="pub-link" href="http://www1.ncdc.noaa.gov/pub/orders/IPS/IPS-1EFE7EEA-A282-4AFD-9093-C7D556C5B06F.pdf" target="_blank" id="anch_15">http://www1.ncdc.noaa.gov/pub/orders/IPS/IPS-1EFE7EEA-A282-4AFD-9093-C7D556C5B06F.pdf</a> 这个你看看教程,很快就出来了
qq_39595196 2017-09-16
  • 打赏
  • 举报
回复
非常感谢大家参与,谢谢!

37,720

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧