用twisted 开发了一个爬虫,发现不能使用ctrl+c 终止有点怪!

phoenixandlinda 2011-10-15 12:19:48
RT,这个爬虫工作效率一般(使用了线程做并行分析提取),不过还算能用,但是就是不能方便的响应控制操作,有经验的xdjm 请提个醒。
...全文
171 3 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
z752964360 2011-11-30
  • 打赏
  • 举报
回复
应该是线程同步的问题!
iambic 2011-11-30
  • 打赏
  • 举报
回复
twisted可以用异步吧。
elmnd 2011-11-30
  • 打赏
  • 举报
回复
我也用htmlParser+httpClient写了个爬虫, 不知道多线程怎么终止爬虫比较好!-_-

LZ有空的话+我QQ, 1151066030一齐学习爬虫搜索相关知识。

37,743

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • WuKongSecurity@BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧