为什么 Python 使用xpath爬取网页数据,但返回的结果一直为空?
我在程序里写的代码没有错,但是运行时每次返回爬取的数据都是空列表,但是在终端打一样的代码,却可以获取到结果,这是为什么?而且我在虚拟机是也可以得到结果
源码:
源码:
import urllib, urllib.request, urllib.parse
from lxml import etree
url = "https://tieba.baidu.com/f?kw=lol&pn=50"
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"}
request = urllib.request.Request(url, headers = headers)
html = urllib.request.urlopen(request).read()
content = etree.HTML(html)
link_list = content.xpath("//a[@class='j_th_tit ']/@href")
print(link_list)
...全文
相关推荐
python 使用xpath/lxml爬取网页表格并存CSV
本篇文章主要介绍了如何使用Python中的XPath和lxml库来爬取网页中的表格数据,并将其保存为CSV文件。作者Negoowen在2020年3月9日创建了这个示例,目的是展示如何处理网页表格样式,
Python使用xpath实现图片爬取
在Python编程中,XPath是一种强大的查询语言,用于在XML或HTML文档中查找信息。在这个场景中,我们将讨论如何使用Python的`lxml`库结合XPath来实现图片的爬取。
python如何爬取网页中的文字
这可能包括清洗数据,去除无用的HTML标签,或者将数据结构化为列表、字典等。总结一下,Python爬取网页文字的步骤大致如下:1. 使用`requests`库发送HTTP请求,获取网页响应。2.
Python基于pandas爬取网页表格数据
在Python编程中,爬取网页数据是一项常见的任务,特别是对于数据分析师和数据科学家而言。
Python之requests+xpath爬取猫眼电影并写入数据库(图文教程)
**处理XPath未获取到预期数据的问题**: 当遇到XPath表达式未返回预期结果时,可能需要调试和优化表达式。


