2,760
社区成员
发帖
与我相关
我的任务
分享百度谷歌的爬虫是用什么语言开发的？
打算做个爬虫，感觉要抓取到数据容易，但要高效抓取大量网页数据还是非常困难的。
你们的爬虫一小时能处理多少网页？百度谷歌的爬虫又能处理多少网页？
你们的爬虫一小时能处理多少网页？百度谷歌的爬虫又能处理多少网页？
...全文
请发表友善的回复…
发表回复
huazhouji 2012-06-11
- 打赏
- 举报
google 的应该是 python下用urllib来搞的
poson 2012-03-16
- 打赏
- 举报
最关键的是spider的URL解析和调度。
当有很多机器同时抓取的时候，怎么调度是最复杂的问题。
当有很多机器同时抓取的时候，怎么调度是最复杂的问题。
nonocast 2012-03-15
- 打赏
- 举报
个人感觉crawler的瓶颈不是在语言，而是在网络和分析，因为本身只是Socket Send HTTP Request的行为
comey 2012-03-06
- 打赏
- 举报
[Quote=引用 8 楼 elmnd 的回复:]
baidu，google的爬虫我还以为是java呢……
爬虫主要受制于网络因素啦。我写的那个爬虫一秒大概爬取7，8个页面吧。
[/Quote]
Java做的？一秒7、8个页面相当牛啊，能分享点经验吗？
我做的能达到一两秒抓完一个页面就满足了^_^
baidu，google的爬虫我还以为是java呢……
爬虫主要受制于网络因素啦。我写的那个爬虫一秒大概爬取7，8个页面吧。
[/Quote]
Java做的？一秒7、8个页面相当牛啊，能分享点经验吗？
我做的能达到一两秒抓完一个页面就满足了^_^
poson 2012-03-05
- 打赏
- 举报
貌似这些爬虫可以把带宽跑满。
关键是怎么调度爬虫吧，防止被封杀；以及怎么快速更新。
关键是怎么调度爬虫吧，防止被封杀；以及怎么快速更新。
elmnd 2012-03-05
- 打赏
- 举报
baidu，google的爬虫我还以为是java呢……
爬虫主要受制于网络因素啦。我写的那个爬虫一秒大概爬取7，8个页面吧。
爬虫主要受制于网络因素啦。我写的那个爬虫一秒大概爬取7，8个页面吧。
wljbetter 2012-03-05
- 打赏
- 举报
linux下的C++
comey 2012-03-05
- 打赏
- 举报
好象大多的办法是把整个网页down到本地再来分析所要的内容，能不能只下载关心的内容，比如说title, meta, description之类的？
comey 2012-03-02
- 打赏
- 举报
莫非是linux下的C？
昵称很不好取 2012-03-02
- 打赏
- 举报
[Quote=引用 3 楼 comey 的回复:]
莫非是linux下的C？
[/Quote]
我觉得是，但具体得问问百度公司的人
莫非是linux下的C？
[/Quote]
我觉得是，但具体得问问百度公司的人
昵称很不好取 2012-03-01
- 打赏
- 举报
百度收藏网页的数量级好像是千亿级别的
昵称很不好取 2012-03-01
- 打赏
- 举报
我觉得应该是C吧，现在也有许多使用java来开发爬虫
