python2 scrapy抓取动态Excel

[ifvlr]

我需要抓取个一个网站的excel文件
https://apps.fas.usda.gov/esrquery/esrq.aspx
然而这个excel文件中的数据是动态的，数据内容来自于你的选择，如下图所示

选择完需要的内容后，点击submit，就会自动下载一个Excel文件下来。

请问这种Excel要怎么抓取？能用scrapy框架抓么？还是需要用别的包？

[混沌鳄鱼]

这种情况用selenium 直接模拟操作浏览器相对 要省事一些。 要是经常大量的下载，就用firefox 抓取一下post的数据 然后用requests或其它HTTP包模仿相同数据请求格式，post查询数据。 相对来说有form表单的模拟都很容易。

[ifvlr]

引用 1 楼 xpresslink 的回复:

这种情况用selenium 直接模拟操作浏览器相对 要省事一些。 要是经常大量的下载，就用firefox 抓取一下post的数据 然后用requests或其它HTTP包模仿相同数据请求格式，post查询数据。 相对来说有form表单的模拟都很容易。

谢谢~ 我还是用的scrapy框架抓取的。用FormRequest的方法将formdata传过去，返回的response直接就是一个xls的字节流， 直接用wb的方式write就写成对应的excel文件啦~ 您说的方法，我以后也会去试试的，多谢了~