脚本语言
Scrapy怎么解决重定向问题及异步加载问题
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区使用scarpy
爬取美团商家信息，模仿手机端浏览出现问题
一些网站会自动重定向变成网页浏览
例如这样：
DEBUG: Redirecting (303) to <GET http://i.meituan.com/gc/i/deal/37950574.html> from <GET http://i.meituan.com/deal/37950574.html> 例如这样
报错信息： 没有获取到值
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\site-packages\scrapy\item.py", line 59, in __getitem__
return self._values[key]
KeyError: 'Store_name'
尝试解决办法：
拒绝重定向，配置文件添加REDIRECT_ENABLED = False（失败） 凡是重定向网址，爬虫一概忽略
尝试解决办法2：
去重定向以后的页面，通过xpath获取元素（%90失败）
只有一小部分可以通过xpath获取到值，大半部分无法获取
原因：获取的网站不完整（考虑是异步加载的问题） 使用PostMan可以获取完整的网页数据
请问各位大神应该怎么做，异步加载我不会。。。 但我觉得就是异步加载的问题，获取不到完整的网页数据，xpath找不到想到的东西
爬取美团商家信息，模仿手机端浏览出现问题
一些网站会自动重定向变成网页浏览
例如这样：
DEBUG: Redirecting (303) to <GET http://i.meituan.com/gc/i/deal/37950574.html> from <GET http://i.meituan.com/deal/37950574.html> 例如这样
报错信息： 没有获取到值
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\site-packages\scrapy\item.py", line 59, in __getitem__
return self._values[key]
KeyError: 'Store_name'
尝试解决办法：
拒绝重定向，配置文件添加REDIRECT_ENABLED = False（失败） 凡是重定向网址，爬虫一概忽略
尝试解决办法2：
去重定向以后的页面，通过xpath获取元素（%90失败）
只有一小部分可以通过xpath获取到值，大半部分无法获取
原因：获取的网站不完整（考虑是异步加载的问题） 使用PostMan可以获取完整的网页数据
请问各位大神应该怎么做，异步加载我不会。。。 但我觉得就是异步加载的问题，获取不到完整的网页数据，xpath找不到想到的东西
...全文
相关推荐
解决Mac安装scrapy失败的问题
在Mac上安装Scrapy框架时，用户可能会遇到各种问题，特别是在使用Python的环境中。这个问题的描述显示了在尝试安装Scrapy时遇到了一个错误，错误涉及到了`six`这个依赖库的卸载过程。
pycharm无法安装第三方库的问题及解决方法以scrapy为例(图解)
然而，有时在PyCharm中安装第三方库可能会遇到问题，比如无法成功安装Scrapy这样的库。本文将详细解析这个问题，并提供解决方案。
scrapy爬虫始终定位不到元素
总之，解决Scrapy爬虫无法定位元素的问题通常需要多方面的检查和尝试，包括但不限于动态加载处理、请求头设置、等待策略以及利用Selenium等辅助工具。
使用py-spy解决scrapy卡死的问题方法
《使用py-spy解决scrapy爬虫卡死问题的方法》在进行大规模的网页抓取时，Scrapy作为Python中的强大爬虫框架，有时会遇到一些棘手的问题，比如爬虫进程突然卡死，严重影响了数据采集的效
python3 安装scrapy报错的解决方法
**错误日志分析**：在安装过程中遇到的任何错误信息都非常重要，它们会告诉你具体是哪个部分出了问题，以便你针对性地解决。通过以上方法，你应该能够解决大部分Scrapy安装时遇到的问题。
