网站每天被不明ip访问，感觉是爬虫，请教一下

反转皇潮 2018-09-10 10:33:01

我最近给网站加了个获取用户访问ip的代码，后来发现获取到了很多不知名的id，全国各地的，还有外国ip，网站基本都是内部使用，怎么会出现这些ip，而且他们出现的有规律，有一秒一次，两分钟一次和五到十分钟一次的，时快时慢，我统计了下每天大约是2000到几千
周末无人使用的情况也是这样。
搜索引擎的ip只出现了一点点

请教下大家，是否需要在意这个问题或者是别的什么问题

贴几张今天0点到现在获取的ip

...全文

975 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

反转皇潮 2018-09-12

打赏
举报

回复

好吧

反转皇潮 2018-09-11

打赏
举报

回复

X-i-n 2018-09-11

打赏
举报

回复

看你的用户来定，如果你的网站是公开的，就不需要太关注IP，只要注意异常来源就行；如果你的网站是内部的，可以精确定位到每个用户，那需要多关注一下所有的用户来源。
常见搜索引擎的蜘蛛IP段也可以去搜一下。

反转皇潮 2018-09-10

打赏
举报

回复

搜索引擎也会用到外国ip 还是说谷歌的呀

X-i-n 2018-09-10

打赏
举报

回复

搜索引擎蜘蛛

Java爬虫，信息抓取的实现详细完整源码实例打包给大家，需要的可以下载下载学习！！！

如果要在网络中找到合适的数据获取方法，那么爬虫一定是必不可少的一个渠道。　说到爬虫，自然就想到了python爬虫，python可谓是爬虫入门的不二选择。但是，在爬虫采集数据过程中，经常会遇到ip被限制的问题。网站根据识别ip来判定是否爬虫，当同一个ip频繁的对网站进行访问，那么就会触发网站的反爬虫机制，你的ip将会被限制或者禁用。当ip出现限制的时候，这个时候我们需要降低访问的速度，但是这样是影响效率的，不便于大量爬取任务的工作使用。还有就是通过换ip工具不断的更换ip，这样使得网站无法识别出来是同一

为了能够高效的爬虫工作，往往会在短时间内并发多大量的请求，这样就会严重的占用服务器带宽，从而影响普通用户名的访问，特别严重的还会导致网站宕机。只要在爬虫ip被限制前然后更换一个新的ip，大量的爬虫工作，必须要大量的ip支持，换ip有很多种方法，其中就是使用API提取ip。爬虫是最近几年非常热门的互联网抓取技术，能够帮助数据公司进行大数据分析，极大的降低人工成本。2、如果使用远程服务器，请确保防火墙具有您正在使用的代理端口的直通端口。4、使用正确的代理地址和有效的端口。4、尝试使用其他代理工具进行连接。

在爬虫过程中，如果长时间频繁的使用同一个ip地址访问某个网站和提取内容，就很容易让对方网站识别认定为爬虫，从而对你的爬虫行为做出相应的限制，或直接屏蔽你的ip地址访问。因此使用多个ip地址进行访问，可以有效解决这一问题。整体思路我们可以建立一个存放ip地址的列表，包含多个可用的ip地址（大家可以网上搜免费ip地址），然后每次都随机调用一个ip地址，建立http连接。这样就避免了同一个ip地址多...

在使用 Python 程序进行网络爬虫开发时，可能因以下原因导致被封 IP 或封禁爬虫程序

62,073

社区成员

669,028

社区内容

发帖

与我相关

我的任务

javascript云原生企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章