scrapy爬图片失败

叽里咕噜.-. 2021-11-25 17:59:16

我用scrapy爬取图片 没有报错 没有输出 甚至连文件夹都没有创建,我仔细看了一下,发现管道开启了,robot也设置为假,UA写了,就是不知道是什么问题,忘大佬解答

 

 

 

 

 

...全文
348 8 打赏 收藏 转发到动态 举报
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
李玺 2021-11-25
  • 打赏
  • 举报
回复 1

xpath那里写错了,你提取src属性的时候写的是src2 。

另外下载图片时部分网站需要添加Referer和User-Agent。

这种情况最好是debug调试,或者通过print进行流程打印。

叽里咕噜.-. 2021-11-26
  • 举报
回复
@李玺 这个网站是懒加载的,所以是src2,print我试过了,爬虫文件能print出来,pipneline不能print出来
叽里咕噜.-. 2021-11-26
  • 举报
回复
@李玺 在普通的爬虫文件中我试过了,不需要refer就能下载
李玺 2021-11-26
  • 举报
回复
@叽里咕噜.-. 目前无法确定原因,建议debug
4条回复
内容概要:本文围绕“面向高精度电流控制的PMSM多参数PSO辨识模型研究”,系统阐述了基于Simulink的永磁同步电机(PMSM)多参数辨识方法,重点采用粒子群优化算法(PSO)实现对电机关键内部参数的高精度辨识。研究构建了完整的PMSM控制系统仿真模型,结合智能优化算法,解决了传统参数辨识中精度低、收敛慢的问题,有效提升了电流环控制的动态性能与稳态精度。该方法特别适用于对控制精度和响应速度要求较高的工业应用场景,如高性能伺服系统、电动汽车驱动系统等,具有较强的工程实用价值和科研参考意义。文中提供了完整的Simulink仿真模型与配套代码,确保了研究内容的可复现性和实践操作性。; 适合人群:具备电机控制、自动化或电气工程等相关专业背景,熟悉MATLAB/Simulink仿真环境,从事电机驱动系统研发、控制算法设计或相关领域科研工作的工程师及研究生,尤其适合工作1-5年、希望深入理解先进参数辨识技术的研发人员。; 使用场景及目标:①开展高精度PMSM控制系统的设计与参数辨识研究;②学习并掌握PSO等智能优化算法在电机系统参数辨识中的具体实现与调优技巧;③完成学术论文复现、科研项目验证、毕业设计或工程原型开发,提升对现代电机控制核心技术的理解与应用能力。; 阅读建议:建议读者结合提供的Simulink模型与源代码进行动手实践,按照文档逻辑逐步搭建与调试仿真系统,重点关注PSO算法与电机模型的交互机制、目标函数设计及参数收敛过程,通过对比不同工况下的辨识结果,深入理解算法性能与控制精度之间的内在联系。

26,343

社区成员

发帖
与我相关
我的任务
社区描述
爬虫逆向技术交流社区,有问题可在此发布动态,不限开发语言不限框架技术的综合社区。
社区管理员
  • 考古学家lx(李玺)
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

一个综合的爬虫逆向技术交流社区

试试用AI创作助手写篇文章吧