Xpath 定位元素,为何网页可以定位到,代码捕捉不到?

YUAYU- 2020-10-16 11:20:38


import requests
from lxml import etree

city_url = "http://www.daomubiji.com/"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36"}
response = requests.get(url=city_url,headers=headers)
html = etree.HTML(response.text)
result = html.xpath('/html/body/section/article/a/div/h2/text()')
print(result)

# 结果为空 []
...全文
884 3 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_45755270 2021-12-28
  • 打赏
  • 举报
回复

这是一个集合,得用list列表接,把这个集合保存到一个变量中,然后循环得到每个Text()

YUAYU- 2020-10-19
  • 打赏
  • 举报
回复
result = html.xpath('//div[@class="homebook"]/h2/text()') # print(result) ['盗墓笔记1:七星鲁王宫', '盗墓笔记2:秦岭神树', '盗墓笔记3:云顶天宫', '盗墓笔记4:蛇沼鬼城', '盗墓笔记5:迷海归巢', '盗墓笔记6:阴山古楼', '盗墓笔记7:邛笼石影', '盗墓笔记8:大结局', '盗墓笔记2015年更新', '沙海', '藏海花']
zengxj100 2020-10-16
  • 打赏
  • 举报
回复
内容是通过ajax加载的,直接提取当然提取不到

37,743

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧