weblech的设置

xiyanxiang 2012-03-30 09:14:53

我想要用weblech抓取以新浪体育为起始页面的网页，想要抓取2010年到现在的~要怎么设置呢？

...全文

33 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

【标题】"Weblech搜索网页"是一款网络爬虫工具，专为检索含有特定关键词的网页而设计。这款工具允许用户自定义爬取的深度，以及根据需要设定爬取的目标网页类型，从而实现高效且定制化的信息抓取。【描述】在...

5. **定制化需求**：WebLech允许用户根据需要设置各种参数，例如指定下载的URL范围、过滤某些类型的文件、设定下载深度等，以满足不同场景下的需求。在使用weblech-0.0.3.tar.gz这个压缩包时，你需要先将其解压，...

修改配置文件Spider.propertiessaveRootDirectory = c:/weblech/sistes 设置文件的存放路径,默认为当前文件夹 mailtoLogFile = mailto.txt 设置邮件链接(mailto links)的存放文件 refreshHTMLs = true refresh...

weblech的log并没有做好统一管理，有点混乱，有不少于两个Logger，所以虽然它是使用了Log4J包，但是却没有办法做日志的统一管理。即使设置日志的级别为INFO，在log文件里面还是有DEBUG级别的日志。

做了一个实验（设置config/Sprider.properties的文件，每个变量看那些英文的说明就OK），把学校的网页都收拾回我的计算机了，呵呵，这是一个多么快乐的一件事情呀。这本书就是一个绪论，对我来说，就只是学习到...

23,407

社区成员

70,514

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章