weblech的设置

xiyanxiang 2012-03-30 09:14:53
我想要用weblech抓取以新浪体育为起始页面的网页，想要抓取2010年到现在的~要怎么设置呢？
...全文
35 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
weblech搜索网页
用于抓取还有某关键词的网页，可以自己控制抓取深度和设置抓取什么网页。
weblech-0.0.3.tar.gz
WebLech是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。适合初学者
爬虫weblech的使用
weblech下载 修改配置文件Spider.propertiessaveRootDirectory = c:/weblech/sistes 设置文件的存放路径,默认为当前文件夹 mailtoLogFile = mailto.txt 设置邮件链接(mailto links)的存放文件 refreshHTMLs = true refreshImages = false refreshO...
将weblech改造成文件爬虫（二）
weblech的log并没有做好统一管理，有点混乱，有不少于两个Logger，所以虽然它是使用了Log4J包，但是却没有办法做日志的统一管理。即使设置日志的级别为INFO，在log文件里面还是有DEBUG级别的日志。
感受一下搜索引擎
    对于搜索引擎一直都神秘的，揭开这个神秘感我是这样开始的。     开始了搜索引擎，到学校图书馆借回了大量的相关书，看第一本于天恩的《迅速搭建全文搜索平台----开源搜索引擎实战教程》。很多软件可用。呵呵，     有一个这样的感觉，如果你要学习一门新的技术，刚开始的时候还是试用一下，去感受下。用就得需要一软件，这个会很快就掌握了。也能让人有初步的认识。 其实这个瞬间很奇妙，用一个类似...
非技术区

23,407

社区成员

70,513

社区内容

发帖
与我相关
我的任务
社区描述
Java 非技术区
社区管理员
  • 非技术区社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章