python3 的xpath问题

weixin_42549694 2018-07-01 10:15:07
#coding:utf-8

import urllib.request
from lxml import etree

url="https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BE%8E%E5%A5%B3&fr=search"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36"
}
request = urllib.request.Request(url, headers=headers)
html = urllib.request.urlopen(request).read().decode('UTF-8')
# print(html)
# 解析HTML文档为HTML DOM模型
content = etree.HTML(html)
print(content)
link_list = content.xpath('//li[@class="j_thread_list clearfix"]/div[@class="t_con cleafix"]/div[@class="col2_right j_threadlist_li_right"]/div/div/a')
print(link_list)
for link in link_list:
fulllink = "http://tieba.baidu.com" + link

print(link)




为什么取不到数据?哪里出了问题啊,link_list一直是[ ]的,求助!
...全文
173 3 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_43494166 2018-11-22
  • 打赏
  • 举报
回复
问题在headers,我今天搞了一下午,也没有出来,明明可以取到的,然后测试出是在headers上,果然不加headers可以取到,具体原因不明白,希望能帮到你
Red_face 2018-07-02
  • 打赏
  • 举报
回复
路径有问题,试试不用绝对路径
weixin_42549694 2018-07-01
  • 打赏
  • 举报
回复

37,743

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧