apache如何设置能防止别人批量抓取网站信息

todayisbest 2006-03-02 06:02:00

apache如何设置能防止别人批量抓取网站信息，由于信息比较多，想在服务器上做一下设置来抵挡。
如果在1分钟内超过几十次请求，就把该IP禁止，请问怎么设置？

...全文

89 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

增加robots.txt, 限制了蜘蛛抓取频率，防止被抓爆空间。调整删除缓存的频率，避免过分消耗CPU。、配置中心的关键词导航调整，防止导致商品详细页详情被替换掉。配置中心使用官方配置时，不覆盖友情链接及伪静态...

单页文档广告位不能后台设置的问题 APP超限造成的失败率太高，总是报警问题。产品详细页因为淘宝BUG，经常取不到推广地址问题。增加图片伪原创，可以伪造本地地址，流量充足的可以使用。配置中心可直接设置网址...

6.环境兼容,根据当前是普通独立服务器,无论windows还是Linux,或是Apache,iis,Negix或是TAE环境,作各种优化与配置 7.用户自由选择图片上传的服务器,有本地,百川多媒体等 8.集成百川速鱼短信功能,4分钱1条 9.提供...

为何大量网站不能抓取?爬虫突破封禁的6种常见方法在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人...

移动端(h5)，数据来源是从HSZX与huanqiu2个网站爬取，主要使用java编写的WebMagic作为爬虫框架，数据分为批量抓取、增量抓取，批量抓当前所有历史数据，增量需要每10分钟定时抓取一次，由于从2个网站抓取，并且频道...

24,923

社区成员

16,548

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章