开发搜索引擎爬虫程序的网页下载程序，如何不堵塞tcp

alineo 2010-02-20 04:19:56

用java做了个爬虫程序，没搞清楚http1.0和http1.1，如何利用持续链接或者socket下载等手段，不让Ip端口用完，而且下载速度要快，我要下载的都是生成好的某一个网站的所有url的。

...全文

56 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

网络爬虫项目的代码及一些文档，代码是用linux C完成的

一个高手写的东西
值得一看

awesome-python 是 vinta 发起维护的 Python 资源列表，内容包括：Web框架、网络爬虫、网

前端部分有 Node.js、ActionScript、Swift、TypeScript、Webpack、JavaScript。需要分别详细说明它们的定义、特点、应用场景、优缺点等。比如 Node.js，要提到它的运行环境、事件驱动、非阻塞 I/O，适合的应用如 API 服务、实时应用，以及常用框架如 Express、Koa。后端部分包括多种语言和工具，Java 要讲其跨平台（JVM）、企业级应用、Spring 框架；C++ 强调性能、系统级开发；Python 的简洁、数据分析和 AI 应用；Docker 的容器化技术，解决环境一致性问题等。移动开发部分，Android 基于 Linux，Java/Kotlin 开发，生态系统；iOS 用 Swift/Objective-C，苹果生态；HTML5 的跨平台网页应用；小程序的轻量、无需安装；HarmonyOS 的分布式能力等。操作系统部分，Linux 的开源、发行版（Ubuntu、CentOS）、服务器应用；Windows Server 的企业服务；MacOS 的 Unix 基础、设计领域应用；DOS 的历史地位等。人工智能部分，机器学习的算法类型（监督、无监督）、应用；深度学习的神经网络、CNN/RNN/Transformer；搜索引擎的工作原理（爬虫、索引、排序）；NLP 的技术点（分词、语义理解、LLM）。信息化管理，管理软件如 ERP、CRM 的具体功能；IT 管理的范围（运维、监控）；项目管理的方法（敏捷、瀑布）；电子商务的模式（B2B、B2C）等。网络技术，网络基础的 TCP/IP、OSI 模型；网络设备（路由器、交换机、防火墙）的功能；网管软件如 Zabbix 的监控能力；系统集成的流程等。安全技术，网络安全的威胁（DDoS、钓鱼）、防护措施（防火墙、入侵检测）；系统安全的权限管理、漏洞

51,411

社区成员

86,043

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章