为什么 Python 使用xpath爬取网页数据,但返回的结果一直为空?

weixin_41769509 weixin_41769509 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
我在程序里写的代码没有错,但是运行时每次返回爬取的数据都是空列表,但是在终端打一样的代码,却可以获取到结果,这是为什么?而且我在虚拟机是也可以得到结果

源码:

import urllib, urllib.request, urllib.parse
from lxml import etree

url = "https://tieba.baidu.com/f?kw=lol&pn=50"
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"}
request = urllib.request.Request(url, headers = headers)
html = urllib.request.urlopen(request).read()
content = etree.HTML(html)
link_list = content.xpath("//a[@class='j_th_tit ']/@href")
print(link_list)
...全文

相关推荐

评论 9
收藏 已收藏
分享
返回顶部
weixin_41769509
脚本语言 37,738 成员 34,208 内容