如何实现多线程用不同的代理打开不同的网页，谁给点思路~~~

4102509 2006-08-05 01:19:53

如何实现多线程用不同的代理打开不同的网页？谁给点思路~~~

我已经实现单线程，有那位大虾能告诉一下思路。。。

就是每个线程用不同的代理IP打开不同的网页？？

急。。。

...全文

171 9 打赏收藏转发到动态举报

写回复

9 条回复

切换为时间正序

请发表友善的回复…

发表回复

whwjn 2006-08-29

打赏
举报

回复

每个线程建立一个CInternetSession对象就行了

yebeans 2006-08-13

打赏
举报

回复

socket下载到本地再用IE打开~~西西~~~

4102509 2006-08-12

打赏
举报

回复

就是如何执行网页~~

4102509 2006-08-11

打赏
举报

回复

那只能的到网页源代码？

oyljerry 2006-08-07

打赏
举报

回复

socket直接构造get等

4102509 2006-08-07

打赏
举报

回复

分不够再加200分，只要能把问题解决~~~~

4102509 2006-08-06

打赏
举报

回复

谢谢philis(明天会更好)
有点思路了..
SOCKET有函数能打开网页吗?
是哪一个?

philis 2006-08-05

打赏
举报

回复

用socket

healer_kx 2006-08-05

打赏
举报

回复

用MFC的CHttpFile类研究一下吧。

这篇博客介绍了一种通过Python筛选高匿名代理IP的思路。首先，通过爬虫获取代理IP，然后高频访问特定网站使自己的IP被禁用。接着，使用Python的requests库筛选出可用的代理IP，并通过访问特定网页判断是否为高匿名。最后，通过多线程进行IP测试，从而得到高匿代理IP。

本文展示了如何使用Python通过多线程抓取和下载网页图片，涉及http请求、网页解析、正则表达式、多线程等技术，提供了完整的源代码示例，并以百度贴吧为例说明了其效果。

本文详述Python爬虫从网页到App的爬取思路，涵盖服务端和客户端渲染的网页爬取，App接口分类及处理，解析方法，存储方案，反爬策略和提高爬取速度的技术。介绍了requests、Selenium、Scrapy等工具，并讨论了分布式爬虫和反封IP、验证码应对方法。

本文介绍如何使用Java实现一个多线程网页爬虫，解决LeetCode上的相关问题。通过线程池、Thread、ConcurrentHashMap和ConcurrentLinkedDeque等数据结构进行网页抓取，遵循特定的爬虫规则，避免重复抓取和抓取不同主机名的链接。同时探讨了在大规模抓取任务中如何设计高效、负载均衡的爬虫系统，并讨论了故障恢复和任务完成确认的策略。

本文介绍了一种使用Python爬取免费高匿名代理IP的方法，并通过多线程技术和生产者消费者模型确保IP的有效性和可用性。

18,357

社区成员

64,165

社区内容

发帖

与我相关

我的任务

c++c语言开发语言技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章