62,074
社区成员
发帖
与我相关
我的任务
分享怎么样在后台判断是否爬虫？
我站的浏览很多事爬虫光顾的，其中有搜索引擎的，也有其他的扒皮的。
我怎么是后台用c# 判断出是否爬虫？
setCookie("temp_temp", "tmp");
if (getCookie("temp_temp") != "tmp") //这样是不行的
如果是爬虫，我就不显示数据，以免给服务器带来压力。
当然，可以跟uaseragent来放行搜索引擎蜘蛛，现在关键是，怎么判断是佛爬虫？不是浏览器正常浏览。
我怎么是后台用c# 判断出是否爬虫？
setCookie("temp_temp", "tmp");
if (getCookie("temp_temp") != "tmp") //这样是不行的
如果是爬虫，我就不显示数据，以免给服务器带来压力。
当然，可以跟uaseragent来放行搜索引擎蜘蛛，现在关键是，怎么判断是佛爬虫？不是浏览器正常浏览。
...全文
请发表友善的回复…
发表回复
phil999 2010-12-28
- 打赏
- 举报
一个ip短时间过来的请求太多，就是采集，你可以定一个标准，比如最近5分钟内看了30篇资料，user-agnet 之类的可以伪装
flashtong 2010-12-28
- 打赏
- 举报
正常的爬虫我是不在乎的，现在是很多同行，来爬，并发数很大，数据库cpu瞬间达到20%以上
我就是想从后台判断出，不是浏览器的访问，然后通过useragent对正常的爬虫放行。
我就是想从后台判断出，不是浏览器的访问，然后通过useragent对正常的爬虫放行。
一克代码 2010-12-28
- 打赏
- 举报
弄成静态的随便别人爬，
赚流量！
赚流量！
一克代码 2010-12-28
- 打赏
- 举报
爬虫 浪费你服务器资源？
什么服务器啊？
那么垃圾！
买服务器就是要用的，不要怕，爬虫占资源！
那么多大的网站，你见谁不让别人爬了？！
什么服务器啊？
那么垃圾！
买服务器就是要用的，不要怕，爬虫占资源！
那么多大的网站，你见谁不让别人爬了？！
crackpot2007 2010-12-28
- 打赏
- 举报
过滤IP段。
