爬虫都关闭session吗？

[asp2001_1]

用session做了一个网页防刷新+计数功能

测试时发现。。。搜索引擎爬虫，似乎都关闭了session（是因为关闭了cookies吗?）。

导致防刷新和计数无效。

有点小郁闷，这种怎么解决？ 如果恶意采集程序也关闭session......

[xuzuning]

cookie 是客户端发送过来的，虽然你可以在服务端指定 cookie 的内容，但客户端是可以不予理睬的
对于你这种情况，你完全可以拒绝他的访问

[Csdn技术大神]

一个是服务器端一个是客户端的

[asp2001_1]

引用 1 楼 xuzuning 的回复:

cookie 是客户端发送过来的，虽然你可以在服务端指定 cookie 的内容，但客户端是可以不予理睬的
对于你这种情况，你完全可以拒绝他的访问

搜索引擎 还是很重要 不敢拒绝访问。
多数搜索还好，起码是实名来访问，有些搜索机器人干脆匿名来，比如360的，而且频率很高。
每天搜索引擎的访问 比正常用户访问都多很多 搜索引擎都是关闭cookie 导致session无效
真正采集的 其实很少
看来用session防刷新 其实是无意义

[xuzuning]

又要用 session 防刷新
又要允许不支持 cookie 的用户来访

我真的不知道你要做什么！！！

[asp2001_1]

引用 4 楼 xuzuning 的回复:

又要用 session 防刷新
又要允许不支持 cookie 的用户来访

我真的不知道你要做什么！！！

测试下来，搜索引擎都关闭了cookie（导致session无效） 因此这个防刷新思路基本无效，因为我不能禁止搜索引擎访问。

[hookee]

session也是依赖cookie里的sessionid的。 要么就用url带token的方法。

[大苟姬]

后台统计时可以判断出来吧。

[幽饮烛]

搜索引擎爬网站的时候，会把自己的信息写到 http 头里，所以可以通过 http 头来判断是不是搜索引擎。
至于其它爬虫，看到一个 IP 封一个 IP,这些爬虫不会带来效益,还会消耗资源.

[hehe20002000]

谢谢 你，学大了很多知识

[asp2001_1]

最后办法就是限制单一ip访问数量..
更好的方法 是更换新服务器 速度足够快 不怕爬虫多