Scrapy怎么解决重定向问题及异步加载问题

[如梦如我]

使用scarpy
爬取美团商家信息，模仿手机端浏览出现问题
一些网站会自动重定向变成网页浏览
例如这样：
DEBUG: Redirecting (303) to <GET http://i.meituan.com/gc/i/deal/37950574.html> from <GET http://i.meituan.com/deal/37950574.html> 例如这样
报错信息： 没有获取到值
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\site-packages\scrapy\item.py", line 59, in __getitem__
return self._values[key]
KeyError: 'Store_name'
尝试解决办法：
拒绝重定向，配置文件添加REDIRECT_ENABLED = False（失败） 凡是重定向网址，爬虫一概忽略
尝试解决办法2：
去重定向以后的页面，通过xpath获取元素（%90失败）
只有一小部分可以通过xpath获取到值，大半部分无法获取
原因：获取的网站不完整（考虑是异步加载的问题） 使用PostMan可以获取完整的网页数据


请问各位大神应该怎么做，异步加载我不会。。。 但我觉得就是异步加载的问题，获取不到完整的网页数据，xpath找不到想到的东西