log访问日志文件里只有用户访问的记录,并没有搜索引擎的爬行记录?

weixin_38060280 2015-12-30 04:26:44
 开发四年只会写业务代码,分布式高并发都不会还做程序员?->>>    阿里云的ECS云服务器,tomcat7,log访问日志“localhost_access_log.2015-12-22.txt”文件里面只有用户访问的记录,并没有搜索引擎的爬行记录,我查看了所有的日志文件,全部只有用户访问记录,可以确定的是每天搜索引擎蜘蛛有爬行,不知道为什么会这样? service.xml配置文件对log访问日志的配置是这样写的: <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" prefix="localhost_access_log." suffix=".txt" pattern="%h %l %u %t "%r" %s %b" /> 是不是配置格式错了?还是配置文件里没有区分用户IP和搜索引擎IP? ———————————————————分割线——————————————————— 最新发现:日志是有记录蜘蛛爬行的,但不好区分,那么如何在配置文件里区分哪些是用户访问的哪些是搜索引擎蜘蛛访问的?
...全文
31 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

435

社区成员

发帖
与我相关
我的任务
社区描述
其他技术讨论专区
其他 技术论坛(原bbs)
社区管理员
  • 其他技术讨论专区社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧