import requests
from bs4 import BeautifulSoup
url = "http://product.dangdang.com/23950158.html"
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0'}
r = requests.get(url=url,headers=headers,timeout=50)
print(r.text)
代码很简单,就是这样,有的时候运行完是这样的:
当然,这是为想要的。但有时候是下面这样的:
有没有大神告诉我该怎么做?怎么样才能将响应稳定在第一张图那样?
Scrapy下该怎么做?