python爬虫 爬取京东主页时,所选择的块级元素,所输出的是空列表,请问爬虫时该如何选取恰当的块级元素?求大佬指教

qq_42748380 2018-07-20 08:14:43
暂时只能爬到这一步
import requests
from bs4 import BeautifulSoup


base_url ='https://www.jd.com/?cu=true&utm_source=c.duomai.com&utm_medium=tuiguang&utm_campaign=t_16282_56684489&utm_term=3d9c4cffbd1f412a9046ae3aa4e1c0a6&abt=3'
header={'user-agent':'Mozilla/5.0'}
response=requests.get(base_url,headers=header)
response.raise_for_status()
#print(response.text)
doc =BeautifulSoup(response.text,'html.parser')
# print(doc)
list=doc.select('.fs')[0].select('.fs_col1 > div')
# list1=list.select('.JS_navCtn cate_menu')
print(list)


但是当接着选取块级元素的时候就空列表了

import requests
from bs4 import BeautifulSoup


base_url ='https://www.jd.com/?cu=true&utm_source=c.duomai.com&utm_medium=tuiguang&utm_campaign=t_16282_56684489&utm_term=3d9c4cffbd1f412a9046ae3aa4e1c0a6&abt=3'
header={'user-agent':'Mozilla/5.0'}
response=requests.get(base_url,headers=header)
response.raise_for_status()
#print(response.text)
doc =BeautifulSoup(response.text,'html.parser')
# print(doc)
list=doc.select('.fs')[0].select('.fs_col1 > div >ul >li ')
# list1=list.select('.JS_navCtn cate_menu')
print(list)

显示的错误是:Unsupported or invalid CSS selector: ">ul"


import requests
from bs4 import BeautifulSoup


base_url ='https://www.jd.com/?cu=true&utm_source=c.duomai.com&utm_medium=tuiguang&utm_campaign=t_16282_56684489&utm_term=3d9c4cffbd1f412a9046ae3aa4e1c0a6&abt=3'
header={'user-agent':'Mozilla/5.0'}
response=requests.get(base_url,headers=header)
response.raise_for_status()
#print(response.text)
doc =BeautifulSoup(response.text,'html.parser')
# print(doc)
list=doc.select('.fs')[0].select('.fs_col1 > div ')[0].select('JS_navCtn cate_menu > li')
# list1=list.select('.JS_navCtn cate_menu')
print(list)


这样输出空列表





请问大佬该如何去选取块级元素,一个求知若渴的python小白!



...全文
634 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

37,721

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧