python 同样的代码,运行显示不同的结果

优木 2020-01-04 07:21:50
import requests
from bs4 import BeautifulSoup
url = "http://product.dangdang.com/23950158.html"
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0'}
r = requests.get(url=url,headers=headers,timeout=50)
print(r.text)

代码很简单,就是这样,有的时候运行完是这样的:

当然,这是为想要的。但有时候是下面这样的:

有没有大神告诉我该怎么做?怎么样才能将响应稳定在第一张图那样?
Scrapy下该怎么做?
...全文
423 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
优木 2020-01-05
  • 打赏
  • 举报
回复
引用 1 楼 冰风漫天 的回复:
如果是动态网页没渲染的话建议使用scrapy-splash

能详细说说嘛?
有没有相关的教程或者图书推荐下呀?

冰风漫天 2020-01-04
  • 打赏
  • 举报
回复
如果是动态网页没渲染的话建议使用scrapy-splash

37,742

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧