• 全部
  • 互动交流
  • 文章分享

用twisted 开发了一个爬虫,发现不能使用ctrl+c 终止有点怪!

phoenixandlinda 2011-10-15 12:19:48
RT,这个爬虫工作效率一般(使用了线程做并行分析提取),不过还算能用,但是就是不能方便的响应控制操作,有经验的xdjm 请提个醒。
...全文
118 点赞 收藏 3
写回复
3 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
z752964360 2011-11-30
应该是线程同步的问题!
回复
iambic 2011-11-30
twisted可以用异步吧。
回复
elmnd 2011-11-30
我也用htmlParser+httpClient写了个爬虫, 不知道多线程怎么终止爬虫比较好!-_-

LZ有空的话+我QQ, 1151066030一齐学习爬虫搜索相关知识。
回复
发帖
脚本语言
创建于2007-08-27

3.7w+

社区成员

JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
申请成为版主
帖子事件
创建了帖子
2011-10-15 12:19
社区公告

CSDN 脚本语言社区接受专栏投稿(专栏会在顶部创建专属你的栏目),投稿需满足以下要求:

  • 脚本语言技术相关;
  • 文章持续更新,保持活跃;
  • 内容清晰明了,干货为主;
  • 文章排版有序,有条有理。

本社区开通招聘专栏,发布招聘信息请联系版主,发布者需要保证招聘信息真实有效,CSDN 平台和版主不对招聘内容负责!

联系方式:私聊版主、发送邮件、QQ联系等均可: