求助:微博网页如何请求?????

lee2601 2020-01-17 10:22:34
比如首都机场微博https://weibo.com/bjairport这个网页,无需登录,浏览器可以直接打开,但程序请求都不行,用requests.get和selenium.webdriver都不能得到真实网页,仅208行的提示内容,后来发现,所有微博网页请求返回的都是一样的208行。
url = 'https://weibo.com/bjairport'
header = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/65.0.3325.181 Safari/537.36'}
response = requests.get(url, headers=header, timeout=10)
response.encoding = ‘gbk’#'utf8'
response = response.text
print(response)
求大虾指点一二。谢谢了。
...全文
497 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
lee2601 2020-01-17
  • 打赏
  • 举报
回复


谢谢“陈年椰子”大虾。我试了一下,等待小于5秒返回208行,大于5秒返回几千行,没打开看,数据应该是正常的。谢谢谢谢啦。下次有什么问题再请教您。
陈年椰子 2020-01-17
  • 打赏
  • 举报
回复
我测试了一下, selenium等待个10秒,是有正常数据的。
陈年椰子 2020-01-17
  • 打赏
  • 举报
回复
selenium.webdriver 调用 浏览器 , 浏览器显示正常吗?