python爬虫 爬取京东主页时,所选择的块级元素,所输出的是空列表,请问爬虫时该如何选取恰当的块级元素?求大佬指教

qq_42748380 qq_42748380 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
暂时只能爬到这一步
import requests
from bs4 import BeautifulSoup


base_url ='https://www.jd.com/?cu=true&utm_source=c.duomai.com&utm_medium=tuiguang&utm_campaign=t_16282_56684489&utm_term=3d9c4cffbd1f412a9046ae3aa4e1c0a6&abt=3'
header={'user-agent':'Mozilla/5.0'}
response=requests.get(base_url,headers=header)
response.raise_for_status()
#print(response.text)
doc =BeautifulSoup(response.text,'html.parser')
# print(doc)
list=doc.select('.fs')[0].select('.fs_col1 > div')
# list1=list.select('.JS_navCtn cate_menu')
print(list)


但是当接着选取块级元素的时候就空列表了

import requests
from bs4 import BeautifulSoup


base_url ='https://www.jd.com/?cu=true&utm_source=c.duomai.com&utm_medium=tuiguang&utm_campaign=t_16282_56684489&utm_term=3d9c4cffbd1f412a9046ae3aa4e1c0a6&abt=3'
header={'user-agent':'Mozilla/5.0'}
response=requests.get(base_url,headers=header)
response.raise_for_status()
#print(response.text)
doc =BeautifulSoup(response.text,'html.parser')
# print(doc)
list=doc.select('.fs')[0].select('.fs_col1 > div >ul >li ')
# list1=list.select('.JS_navCtn cate_menu')
print(list)

显示的错误是:Unsupported or invalid CSS selector: ">ul"


import requests
from bs4 import BeautifulSoup


base_url ='https://www.jd.com/?cu=true&utm_source=c.duomai.com&utm_medium=tuiguang&utm_campaign=t_16282_56684489&utm_term=3d9c4cffbd1f412a9046ae3aa4e1c0a6&abt=3'
header={'user-agent':'Mozilla/5.0'}
response=requests.get(base_url,headers=header)
response.raise_for_status()
#print(response.text)
doc =BeautifulSoup(response.text,'html.parser')
# print(doc)
list=doc.select('.fs')[0].select('.fs_col1 > div ')[0].select('JS_navCtn cate_menu > li')
# list1=list.select('.JS_navCtn cate_menu')
print(list)


这样输出空列表





请问大佬该如何去选取块级元素,一个求知若渴的python小白!



...全文

相关推荐

Python 爬虫项目:爬取电商商品基础信息,提取标题与价格

本文详细介绍了使用Python爬取京东商品数据的完整流程,包括单页爬取、多页批量爬取和数据清洗三大核心功能。通过requests库获取网页数据,利用lxml+XPath解析结构化页面,提取商品标题和价格信息,并进行格式化处理。针对电商反爬机制,提供了请求头配置、延迟设置等解决方案。文章还包含常见问题解答和优化建议,最终整合成可直接复用的完整代码。该教程适合爬虫初学者系统学习电商数据采集,掌握从数据获取到清洗的完整流程,为后续更复杂的爬虫项目打下基础。

python 爬虫大师

Python 爬虫实战:爬取电商平台商品评论,挖掘竞品优劣势与市场机会

本文以京东平台为例,通过Python爬虫技术获取商品评论数据,结合文本挖掘方法进行竞品分析。首先解析了京东评论API接口,采用requests和代理池技术实现多商品评论的批量爬取,解决了反爬问题。在数据分析阶段,通过情感分析、关键词聚类等方法,从评论中提取竞品的优劣势及用户需求。分析结果显示,该方法能有效量化竞品口碑特征,识别市场机会。研究为企业提供了产品迭代和竞争策略建议,如针对"游戏散热"痛点优化产品功能,调整大存储版本定价策略等。文章强调需遵守平台规则进行数据采集,通过持续监控评论

python 爬虫大师

APP 爬虫实战:捕获某购物 APP 的商品列表接口数据

本文以京东APP为例,详细演示了购物类APP商品列表接口的爬取实战。通过Charles抓包工具分析商品搜索请求,解析了接口的关键参数和JSON响应结构。基于分析结果,提供完整的Python爬虫代码实现,包括请求模拟、参数动态生成和数据提取等关键步骤。文章还涵盖了分页爬取扩展、反爬应对策略及注意事项,帮助读者掌握从抓包到数据提取的完整流程。该实战案例既可作为APP爬虫入门实践,也为应对更复杂的接口加密场景打下基础。

python 爬虫大师

可调高输入差分放大电路multisim仿真

通过Multisim仿真加入可调电阻Rg的改进电路,通过调整Rg可以灵活控制放大倍数,输出电压公式为uo=(1+Rf2/R3+2Rf2/Rg)(uI2-uI1)。通过仿真展示了不同Rg值对输出电压的影响,验证电路具有良好的可调性和高输入阻抗特性。 参考文章:https://blog.csdn.net/weixin_43348794/article/details/152171787?spm=1001.2014.3001.5502

粟米茶

科技部推动的技术要素市场化配置改革中,“溯源智推”模式的落地应用重点在哪里?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

BIZKEEN
评论
收藏 已收藏
分享
返回顶部
qq_42748380
脚本语言 37,738 成员 34,208 内容