apache+tomcat搭建的网站，如何查看百度等蜘蛛的抓取日志?

play100 2011-03-14 10:03:12

有几年没来了，有问题还是想到这。。。
如题

...全文

256 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

xf_taoran 2011-03-15

打赏
举报

回复

在拦截器中写一个获取请求地址的郁闷打印出来就可以了

play100 2011-03-15

打赏
举报

回复

没人理、自己顶下

下载完安装文件后，将压缩文件解压到一个方便的地方，比如 Windows 下的 C:\apache-tomcat-5.5.29 目录或者 Linux/Unix 下的 /usr/local/apache-tomcat-5.5.29 目录，然后创建 CATALINA_HOME 环境变量指向这些目录...

当服务器用的是tomcat时，有时需要查看百度蜘蛛抓取日志，默认情况下是没有记录的只需要在server..xml文件项目配置标签中添加如下内容即可 <Valve className="org.apache.catalina.valves.AccessLogValve" ...

Ubuntu12搭建nutch1.2+tomcat7+jdk1.6 所用软件：jdk-6u24-linux-i586.bin apache-tomcat-7.0.27.tar.gz apache-nutch-1.2-bin.tar.gz （注：我的文档很多复制cp 指令是在root权限下进行，所以修改权限。如果在...

一、tomcat的安装 1. 下载tomcat，下载地址为：http://tomcat.apache.org/download-70.cgi 2. 解压下载下来的文件，tar zxvf .... 3. 进入解压后的文件，运行/bin文件下的startup.sh，启动tomcat服务器。 4. 在...

新增反爬虫策略文件：vim /usr/www/server/nginx/conf/anti_spider.conf文件内容#禁止scrapy等工具的抓取if ($http_user_agent ~* (scrapy|curl|httpclient)) {return 403;}#禁止指定ua及ua为空的访问if ($...

81,092

社区成员

341,716

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章