用C语言可以写爬虫么？

qq_43473739 2018-12-05 02:09:14

c语言应该是最快的，需要写爬虫求大佬们帮忙给个思路

...全文

1500 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_43473739 2018-12-05

打赏
举报

回复

引用 3 楼吉普赛的歌的回复:

python 的多线程试下呢？

还是不够快主要是做的一个抢购软件，听朋友说c开发的最快

吉普赛的歌 2018-12-05

打赏
举报

回复

python 的多线程试下呢？

qq_43473739 2018-12-05

打赏
举报

回复

引用 1 楼二月十六的回复:

一般听说都是python写爬虫比较好

嗯是的用python好实现但是处理速度有点慢

二月十六 2018-12-05

打赏
举报

回复

一般听说都是python写爬虫比较好

一个简单的C语言多线程爬虫，在linux系统下运行

代码是（用了近两周晚上加周末时间）在linux环境下用c/c++语言写的，已经发布到github上了。结构还算清晰，使用了多线程、高级多路IO复用、socket网络编程等技术和一些哈希算法，爬取性能还是不错的。目前还在不断地进行细节优化（目前是1.0版本）。

通过爬虫进阶的知识点我们能应付大量的反爬网站，而Scrapy框架作为一个专业的爬虫框架，使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求，我们可以用分布式爬虫让多台机器帮助...

linux c语言多线程网页爬虫 spider

通过curl工具写的一个C语言版网页爬虫工具，主要在vim里方便使用！

11,849

社区成员

33,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章