求思路 网站如何反爬虫

[北野语冰]

最近做的一个项目，通过js写ajax传递参数到一般程序中，一般程序传递数值到三层里，返回json到ajax，写成html展现内容


请问 我该如何做反爬虫？有人说ajax传参加密 ，是什么意思- -？传参加密到后台还是解密，这意义在哪里？？
还有我如何判断某ip不断发送请求，需要加张表记录该IP么？
本人新手一个 思路很混乱，请老手提示点破

[北野语冰]

引用 4 楼 closurer 的回复:

[quote=引用 2 楼 shiloye 的回复:] [quote=引用 1 楼 closurer 的回复:] 我经常做爬虫，请楼主善待爬虫。

常用的有什么方法是反爬虫的呢？ 验证码 和什么[/quote] 1、令牌 2、登陆后才能访问，发现异常就封号 3、记录 IP，发现异常就封 IP 4、各种图灵测试，验证码是其中一种 这些方法或多或少都会造成误伤…… 其实大家何必互相伤害呢……[/quote] 只是为了防止数据被拿走的。。。有些数据是机密数据没办法阿

[圣殿骑士18]

引用 5 楼 shiloye 的回复:

只是为了防止数据被拿走的。。。有些数据是机密数据没办法阿

封不掉的。想爬的人终究还是可以把数据爬走。

[wanghui0380]

正常来说，在根目录放robot.txt文件，告诉人家那些可以爬，那些不能爬！ 但是这个玩意就得看写爬虫的意思了，他遵不遵守规范就看他CEO的道德了 如果遵不遵守规范规范，你只能采用“AI行为判定”，只是做为AI行为判定也只能是聊胜于无，12306都怕了，你怕不怕！！

[闭包客]

[拜一刀]

引用 5 楼 shiloye 的回复:

只是为了防止数据被拿走的。。。有些数据是机密数据没办法阿

这种数据肯定要验证用户的吧,怎么会说拿走就拿走 既然验证用户了,当然也可以封禁账号咯

[北野语冰]

引用 8 楼 closurer 的回复:

很强

[lovebaby]

个人感觉互联网本身就是分享性质的，既然机密为什么要放到外网上呢，IP记录的找个第三方流量统计就能监测，还不占有你的服务器带宽。

[闭包客]

我经常做爬虫，请楼主善待爬虫。

[北野语冰]

引用 1 楼 closurer 的回复:

我经常做爬虫，请楼主善待爬虫。

常用的有什么方法是反爬虫的呢？ 验证码 和什么

[满庭花醉三千客]

如果是自家用的就：仅限内网使用 、链接VPN的情况下可以使用网站，这样别人就访问不到你的网站了，也就没有什么爬虫 还有一个是外网的，给大众使用的，给大众使用就为了推广啊，还要优化引擎给百度 google 爬呢 还有一个是对外查询的 就可以 加登录 或者 查询的时候需要输入验证码

[闭包客]

引用 2 楼 shiloye 的回复:

[quote=引用 1 楼 closurer 的回复:] 我经常做爬虫，请楼主善待爬虫。

常用的有什么方法是反爬虫的呢？ 验证码 和什么[/quote] 1、令牌 2、登陆后才能访问，发现异常就封号 3、记录 IP，发现异常就封 IP 4、各种图灵测试，验证码是其中一种 这些方法或多或少都会造成误伤…… 其实大家何必互相伤害呢……

[yzf86211861]

好像 看到 爬虫就觉得很高端的样子

[zhanglong_longlong]

IP限制。验证码

[那么天涯]

引用 8 楼 closurer 的回复:

那么问题来了，哪个是刘翔

[w199096zx]

可以限制IP访问间隔，这个比较简单

[bidisty]

业务层处理数据前，先验证令牌，没有令牌不处理。用SSL连接，双向认证

[余生Her]

引用 14 楼 Eimers 的回复:

[quote=引用 8 楼 closurer 的回复:]

那么问题来了，哪个是刘翔[/quote] 那么问题又来了，除了刘翔其他的是谁....