爬虫程序的IO模型

[jiangfeng999]

大家好,我现在在编写一个爬虫程序,但是不知道选用哪一种IO模型的抓取效率会比较高
正在苦恼中

[blackcat242]

完成端口呗，windows上面也就这个效率最高了

[猞猁狲]

如果熟悉完成端口，那最好用完成端口，如果不熟悉，就用ace找个现成的例子

[guohaibo]

完成端口，数据流量应该比较大吧。

[jiangfeng999]

我在我的爬虫程序中建立了一个DNS缓存,把和每架主机的链接都长期保存起来.
如果使用完成端口是每一架主机使用一个完成端口,还是在这个爬虫进程中的所有主机都使用同一个完成端口

[jiangfeng999]

用IOCP做爬虫程序有例子吗，最好有例子
我现在一直搞不清楚的是用IOCP做爬虫程序，使用多少个完成端口比较合适，还有完成端口如何分配

[coolzdp]

参考larbin,不过是linux的

[gaoteng1984]

单机的那种1MB网速以内的爬虫，就多线程同步套接字就足够了，因为这时的瓶颈在于网络速度，而不是线程间切换和互斥的开销，线程数目在100以内时，所有线程栈的内存开销也不大。
千兆网上的爬虫，才要去用完成端口

[gaoteng1984]

目前也有一些开源爬虫用的是多线程同步下载方式，比如Heritrix，性能也不低

[jiangfeng999]

再问一下，如果我用完成端口做爬虫。完成端口应该怎么分配呢，是一台主机用一个完成端口，还是所有的主机都使用一个完成端口。

[beipiao]

开源的larbin值得研究

给你提一些要点

一. 关键的需求点:
并发量有多大，是否需要分布式；
数据抽取的复杂度（如果数据抽取的开销大，而且是实时抽取的话，那么爬虫的架构和I/O模型就要多考虑它的影响）；

二. 技术要点：
1. I/O:
大规模：单线程、事件驱动
小规模：多线程

2. 协议：
http，html，js，cookie等

3. 页面存储：
如果需要存储，将是一个大的难点

4. 其它:
dns缓存；
url去重；
内存池；
中断点保存和恢复；
......

[beipiao]

各平台比较高效的I/O系统机制:
win32: io完成端口
linux(2.6内核，2.4要打补丁): epoll
freebsd: kevent
solaris: Event Completion

我以前整理过一些文章，不过基本上都是linux/unix的

[Murusu]

想请教一下，win32下用完成端口跟ace比起来那个效率更高？