scrapy爬虫怎么回事，是开不了还是崩了

SanHydra 2017-05-24 04:10:01
在做一个项目，用java管理爬虫，一开始我用runtime.exec()这个方法运行命令行scrapy crawl spider，什么操作都不做，就能正常启动爬虫，但一旦在java里面开线程来监控流，或者是做其他什么操作，scrapy运行几秒就没了，什么数据都不会显示，有没有大神解释一下这是是什么原理？如果java调不了python爬虫，岂不是很无解？
...全文
205 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
Python 网络爬虫高阶用法
本文深入探讨 Python 网络爬虫高阶用法，回顾常用爬虫工具如 Requests、BeautifulSoup 和 Scrapy，介绍动态网页抓取工具 Selenium 和 Pyppeteer，阐述反爬虫机制及应对策略，还涉及 Scrapy 高级应用、分布式与异步爬虫技术，以及数据存储处理，最后给出电商商品数据抓取实战案例。
网络爬虫 - scrapy入门（十三）
本文介绍Scrapy网络爬虫框架，涵盖其简介、安装、项目创建与运行。阐述网络爬虫基本流程，包括请求、解析和保存数据。详细讲解Scrapy框架结构、组件及数据流动，还介绍了Spider、Item和Request的使用方法，助您快速入门Scrapy。
爬虫框架 Scrapy 详解
本文详细介绍了Scrapy的基本概念、工作流程、关键模块，包括调度器、下载器、爬虫、实体管道和引擎。此外，还涵盖了Scrapy的安装、XPath解析、网络爬虫编写和数据处理的全过程，以及如何使用Scrapy进行数据抓取和存储策略。
17.网络爬虫—Scrapy入门与实战
文章介绍了Scrapy框架的基础知识，包括其工作流程和主要组件。通过实例展示了如何创建Scrapy项目，配置和运行爬虫，以及数据解析和使用管道进行数据处理。文章强调了Scrapy的高效、可扩展和灵活性，并提供了实际操作的步骤。
18.网络爬虫—Scrapy实战演示
本文介绍了如何使用Scrapy框架中的ScrapyShell工具进行网站调试，包括进入shell、查看网站源代码、调试xpath以及如何提取和处理数据。此外，还展示了如何创建Scrapy项目和爬虫，解析数据并写入csv文件。文章适合Python网络爬虫初学者，旨在帮助读者更好地理解和应用Scrapy。
脚本语言

37,739

社区成员

34,211

社区内容

发帖
与我相关
我的任务
社区描述
JavaScript，VBScript，AngleScript，ActionScript，Shell，Perl，Ruby，Lua，Tcl，Scala，MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章