scrapy爬虫怎么回事，是开不了还是崩了

SanHydra 2017-05-24 04:10:01

在做一个项目，用java管理爬虫，一开始我用runtime.exec()这个方法运行命令行scrapy crawl spider，什么操作都不做，就能正常启动爬虫，但一旦在java里面开线程来监控流，或者是做其他什么操作，scrapy运行几秒就没了，什么数据都不会显示，有没有大神解释一下这是是什么原理？如果java调不了python爬虫，岂不是很无解？

...全文

169 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

此前已经做过一些对于ajax网站的爬取，或分析ajax规则，或使用selenium+chromedriver去爬取，但它们都是在scrapy框架外实现的，那么，怎么利用scrapy框架去爬取带有ajax加载数据的信息呢。以简书为例：如上图，我们发现有些文章它被较多的专题收录，那么我们想要获取没有显示出来的专题，该怎么办呢。然后，我们明确要做的是简书的整站爬虫，怎么能确保爬下来所有...

items.pyScrapy给了你强大的武器，但务必记得尊重robots.txt：网站的“交通规则”，看它允不允许你爬、爬多快。控制频率：疯狂请求等于DoS攻击！设置合理的和并发数 (辨别数据性质：爬公开信息OK，爬用户隐私、付费内容？快停下！法律风险极高！标明数据来源：如果后续使用或发布爬取的数据，注明来源是基本的尊重。掌握了Scrapy，你就如同拥有了在网络信息迷雾中精准导航的罗盘🧭。它不仅仅是工具，更是一种结构化解决问题的思维。

通过Scrapy框架与动态代理的深度结合，我们可以高效、稳定地爬取链家网的房源数据。动态代理技术有效降低了IP被封禁的风险，而Scrapy框架的高效性和灵活性则为数据爬取提供了强大的支持。在实际应用中，开发者可以根据具体需求进一步优化爬虫逻辑，以满足不同的数据。

【摘要】爬虫资源耗尽常见问题及解决方案：内存不足时可重启程序或优化代码（使用生成器、流式处理）；硬盘爆满时需清理临时文件或改用数据库存储；CPU/网络紧张应降低并发数。预防措施包括设置资源监控、实现断点续爬和完善日志系统。应急方案（重启、清理）与长期优化（代码重构、分布式架构）双管齐下，可有效提升爬虫稳定性。常用Linux命令如df、top可快速排查问题。（149字）注：摘要提炼了原文核心内容，涵盖：三类资源问题（内存/硬盘/CPU）短期应急与长期优化策略预防性监控的重要性关键命令工具严格控制在

scrapy的官方文档: https://docs.scrapy.org/en/latest/引擎(engine)scrapy的核心, 所有模块的衔接, 数据流程梳理.调度器(scheduler)本质上这东西可以看成是一个队列. 里面存放着一堆我们即将要发送的请求. 可以看成是一个url的容器. 它决定了下一步要去爬取哪一个url. 通常我们在这里可以对url进行去重操作.下载器(downloader)

37,743

社区成员

34,211

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章