如何防止别人用软件抓取网页

hzyjy 2009-11-02 01:27:31

别人用软件访问网页来抓取内容分析导致网站负荷太大
如何让别人读取不到内容

...全文

1351 68 打赏收藏转发到动态举报

写回复

用AI写文章

68 条回复

切换为时间正序

请发表友善的回复…

发表回复

huangchena 2011-11-16

打赏
举报

ifram和js才是硬道理

jlds123 2011-06-28

打赏
举报

变换地址变换标签

md5e 2011-06-28

打赏
举报

全部通过JS输出
document.write

watenuo 2011-06-28

打赏
举报

楼主碰到的问题，其实和很多网盘碰到的问题一样

我给楼主的观点是，对一定访问频率以上的ID进行控制。

你可以对你需要控制的资源进行访问频率控制，对同一ID做该类资源的访问进行时间间隔控制，这个间隔有楼主根据实际情况决定。

my1433694700 2011-06-28

打赏
举报

[Quote=引用 11 楼 flyingfz 的回复:]

用 javascript 加载主要内容。
[/Quote]
老子抓的就是js内容，有种别请求服务器。。。

terry 2011-06-28

打赏
举报

1、登录限制，返回用户需登录，登录要求验证吗什么的。
2、一个用户不能同时在不同的地方访问。当前用户在线，重复登录时，踢掉上一个。
3、常用功能加验证码，避免恶意访问。
4、一般来讲，普通用户，几乎不会频繁访问一个页面。也可以在一定时间范围内做用户访问次数限制。

x363961461 2011-06-28

打赏
举报

我改试想了一下。来个IP判断。如果访问不寻常，就给他来个要验证呢。

bleach001 2011-06-28

打赏
举报

[Quote=引用 33 楼 zzxap 的回复:]

拔掉网线
[/Quote]
好办法

x363961461 2011-06-28

打赏
举报

在多的js输出什么的只要呈现在页面上不都是 html吗。就用源文件来抓。我一分钟抓一次。得到的都是最新数据。你拿我怎样。
1. IP上做文章，有得有失。有的忠实的用户会被你干掉
2. 变换地址很多抓取内容的就是一个固定的网址。你经常换下可能有用。但是那种直接保存地址的用户又悲剧了
3. 变换标签（分解源字符串进行窃取的方法很有效）

我是个淘宝卖家。现在有个小软件自己在用，每天开着。就是天天抓取一些页面的内容来为我所用。也都是大网站的。不过从没被禁过。

lalaguan 2009-11-11