爬虫xpath只能解析出body,路径往下只能获取空列表

天上大月 2021-03-08 03:56:20
小白刚开始学爬虫,xpath解析不知道为什么用不了,求大神指正

不知道为什么,xpath只能获取到body标签


在解析路径body标签后面加上div标签后,返回的就是一个空列表


尝试在body标签后面加上text()获取文本,返回的也是一个空列表


以下是代码

from lxml import etree
import requests
if __name__ == '__main__':
url = 'https://sc.chinaz.com/jianli/biaoge.html'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}
data = requests.get(url=url,headers=headers).content.decode('utf-8')
tree = etree.HTML('data')
page_list = tree.xpath('//body/text()')
print(page_list)


...全文
339 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
天上大月 2021-03-09
  • 打赏
  • 举报
回复
原来是div用了多个class,我把两个class名连在一起复制了
Farland-hobin 2022-07-07
  • 举报
回复
@天上大月 什么意思啊,我也遇到这种情况
天上大月 2021-03-08
  • 打赏
  • 举报
回复
没人么[face]monkey2:019.png[/face]

250

社区成员

发帖
与我相关
我的任务
社区描述
其他产品/厂家
社区管理员
  • 其他
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧