IP代理网站的IP是怎么来的，请指教。

omg211 2016-04-26 08:11:46

最近在做爬虫，了解了网站的反爬机制后对代理IP产生了一些不理解的地方。
1.有一些代理IP网站，他们的IP是从哪里来的？
2.门户网站每天有大量的访问量，这些访问的IP地址能不能用来做代理IP？（只谈技术方面）
3.其所提供的IP如果不小心给了分发了N次，这N次又同时被使用会发生什么？
4.用python如何检测代理IP的有效性？
5.如何判断一个IP是否是高匿IP？

...全文

565 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

二进制程序猿 2016-05-18

打赏
举报

回复

1 很多IP是他们自己的节点 2.可以 3.一般不会让你响应那么多的 4.设定一个时间阀值，如果在阀内时间能得到相应，判定存活 5.这个问题不清楚，具体还要具体分析

该程序实现爬取某代理IP网站的IP列表，可以保存任意页数。具体网址见程序代码。 python新人，多多指教，QQ:403425608

代理服务器胡经国本文作者的话本文是根据有关文献和资料编写的《漫话云计算》系列文稿之一。现作为云计算学习笔录，奉献给云计算业外读者，作为进一步学习和研究的参考。希望能够得到大家的指教和喜欢！下面是正文一、概述代理（Proxy），也称为网络代理，是一种特殊的网络服务，即代理服务。它允许一个网络终端（一般为客户端）通过这个服务与另一个网络终端（一般为服务器）进行非直接的连接。一些网关、路由器等网络设备具备网络代理功能。一般认为，代理服务有利于保障网络终端的隐私或安全，防止攻击。提供代理服务的电脑系统或其它类型的网络终端，称为代理服务器（Proxy Server）。一个完整的代理请求过程为：客户端首先与代理服务器创建连接；接着根据代理服务器所使用的代理协议，请求对目标服务器创建连接、或者获得目标服务器的指定资源（如：文件）。在后一种情况中，代理服务器可能对目标服务器的资源下载至本地缓存。如果客户端所要获取的资源在代理服务器的缓存之中，则代理服务器并不会向目标服务器发送请求，而是直接返回缓存了的资源。一些代理协议允许代理服务器改变客户端的原始请求、目标服务器的原始响应，以满足代理协议的需要。代理服务器的选项和设置在计算机程序中，通常包括一个"防火墙"，允许用户输入代理地址；它（代理地址）会遮盖他们的网络活动，可以允许绕过互联网过滤实现网络访问。代理服务器（Proxy Server）是一种重要的服务器安全功能，它的工作主要在：开放系统互联（OSI）模型的会话层，从而起到防火墙的作用。代理服务器大多被用来连接Internet（国际互联网）和Local Area Network（局域网）。链接：OSI OSI（Open System Interconnection，开放式系统互联）。国际标准化组织（ISO）制定了OSI模型。这个模型把网络通信的工作分为7层，分别是：物理层、数据链路层、网络层、传输层、会话层（Session）、表示层和应用层。其中，会话层的数据格式为：建立、管理和终止会话。二、主要功能代理服务器的主要功能，就是代理网络用户去取得网络信息。形象地说：它是网络信息的中转站。代理服务器就好象一个大的Cache（缓冲器），这样就能显著提高浏览速度和效率。更重要的是。代理服务器是Internet链路级网关所提供的一种重要的安全功能。鉴于上述原因，代理服务器大多被用来连接的都是独立的大型Internet（国际互联网）和Local Area Network（局域网）。在中国国内，所谓中国多媒体公众信息网和教育网，都是独立的大型国家级局域网，是与国际互联网隔绝的。出于各种需要，某些集团或个人在两网之间开设了代理服务器。如果我们知道这些代理服务器的地址，就可以利用它到达国外网站。三、其他功能 1、设置用户验证和记账功能可按用户进行记账，没有登记的用户无权通过代理服务器访问Internet网；并且可对用户的访问时间、访问地点、信息流量进行统计。 2、对用户进行分级管理设置不同用户的访问权限；对外界或内部的Internet地址进行过滤，设置不同的访问权限。 3、增加缓冲器（Cache)，提高访问速度对经常访问的地址创建缓冲区，大大提高热门站点的访问效率。通常代理服务器都设置一个较大的硬盘缓冲区（可能高达几个GB或更大）。当有外界的信息通过时，同时也将其保存到缓冲区中。当其他用户再访问相同的信息时，则直接由缓冲区中取出信息，传给用户，以提高访问速度。 4、连接内网与Internet，充当防火墙（Firewall）因为所有内部网的用户通过代理服务器访问外界时，只映射为一个IP地址，所以外界不能直接访问到内部网；同时可以设置IP地址过滤，限制内部网对外部的访问权限。 5、节省IP开销代理服务器允许使用大量的伪IP地址，节约网上资源，即用代理服务器可以减少对I P地址的需求。对于使用局域网方式接入Internet，如果为局域网（LAN）内的每一个用户都申请一个IP地址，其费用可想而知。但是，使用代理服务器后，只需代理服务器上有一个合法的IP地址，LAN内其他用户可以使用10.*.*.*这样的私有IP地址。这样，可以节约大量的IP，降低网络的维护成本。四、如何获取有两种方法可以获取代理服务器。、使用"代理猎手（Proxy Hunter）"软件从上面的内容我们已经知道，要找代理服务器，其实就是要找出该服务器的IP地址、服务类型及所用端口。我们可以使用"代理猎手（Proxy Hunter）"这个软件来搜索。、通过第三方代理发布网站第二种方法，可以通过第三方代理发布网站获取。用第一种方法，自己通过代理猎手软件去搜索代理服务器，对一般用户来说显然太过

用python写的一个漫画爬虫。有什么问题请多多指教

&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
@ 欢迎使用吕达嵘的汉化软件 @
@ 不足之处请多多指教 :-) @
###################################################

★ FlashFXP 3.2.0 build 1080 Final 正式版

功能强大的FXP /FTP软件，融合了一些其他优秀FTP软件的优
点，如像CuteFTP一样可以比较文件夹，支持彩色文字显示；
像BpFTP支持多文件夹选择文件，能够缓存文件夹；像LeapFTP
一样的外观界面，甚至设计思路也差相仿佛。支持文件夹(带
子文件夹)的文件传送、删除；支持上传、下载及第三方文件
续传；可以跳过指定的文件类型，只传送需要的文件；可以
自定义不同文件类型的显示颜色；可以缓存远端文件夹列表，
支持FTP代理及Socks 3&4；具有避免空闲功能，防止被站点踢
出；可以显示或隐藏“隐藏”属性的文件、文件夹；支持每个
站点使用被动模式等。

汉化使用说明：

1、解压缩到一个目录中即可使用。
2、注册说明：
2.1、汉化文件是没有经过破解的，如你有正版序列号，填入后
可直接使用此汉化版。
2.2、如果你想使用盗版，请运行汉化包中的 crack.exe文件，
对汉化文件进行破解，然后填入注册码：
FLASHFXPwQAOlhkgwQAAAAC6W5MNJwTnsl73nIraAU149tnCQS
0hmZU3GGBQG1FtoSp5x0mUgA7bFW0qr0fKk2KCA+v2CCrFbF+q
bmLvEjV+4JCAX+H/TBpG7pdEJ8IEW09ST8t60Poou/CTNhxGoz
1Ww0kiyHynU4fOmVK9gQZ5eeMxKzssnhKdor2ibc3OTo+WvErl
omRpMfd15+/2EA/SbxzdwKmX6ybVAYnLe4g3cheOEdD3YnxF5i
4NeTRw
3、按以上两种方法注册后还需屏蔽自动更新，以防注册被BAN 后
失效，如果你安装了防火墙，请将 liveupdate.flashfxp.ws
或者 IP 66.98.228.125 屏蔽掉即可。如果你没有防火墙，请
打开FlashFXP目录下的flashfxp.ini文件，找到[LiveUpdate]
段，将以下内容覆盖原来的：
[LiveUpdate]
Last=0
Proxy=1
Check=0
Address=1.1.1.1
Port=1111
Interval=0
user=dragonma
pass=CC5684C11F
beta=1
4、为防止BUG，或破解的不完全，请大家养成习惯，在使用前备
份好自己的站点数据，即 Sites.dat 文件。
5、目录中有个 Sites-old.dat 文件，是原来作者提供的一些默
认的FTP站点，为避免与用户的 Site.dat 相冲突，故改名，
如果你需要这些站点，可以自行导入。

GOOD LUCK！！！

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

1、确定需求，找到URL 现在很多网站给我们显示的页面是通过两个两个网页来显示的，因此会有两个URL 一个是页面框架，一个是里面的数据，我们可以用谷歌浏览器进入页面 =》右击=》检查=》选择network =》ctrl + f搜索页面中我们需要的数据（95.0.66.86）=》点击资源包 =》选择headers =》Request URL就是存储数据的URL 2、进行数据的爬取 import requests import os import time start = time.t

659

社区成员

87

社区内容

发帖

与我相关

我的任务

服务器网络技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章