apache+tomcat搭建的网站，如何查看百度等蜘蛛的抓取日志?

play100 2011-03-14 10:03:12

有几年没来了，有问题还是想到这。。。
如题

...全文

276 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

xf_taoran 2011-03-15

打赏
举报

回复

在拦截器中写一个获取请求地址的郁闷打印出来就可以了

play100 2011-03-15

打赏
举报

回复

没人理、自己顶下

JavaWeb项目：基于servlet+jsp+mysql+tomcat实现的网络爬虫(蜘蛛)源码和数据库

该文档主要介绍了nutch的安装与配置的过程，以及如何实现网内与往外的抓取。

北京邮电大学研究生课程实验指导书。在windows上配置测试Nutch 用于学习nutch配置的各种问题分为本地抓取，局域网抓取和互联网抓取三部分

Nutch入门使用文档，教大家如何部署Nutch爬虫

当服务器用的是tomcat时，有时需要查看百度蜘蛛抓取日志，默认情况下是没有记录的只需要在server..xml文件项目配置标签中添加如下内容即可

81,122

社区成员

341,744

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章