Nutch配置要爬行的URL问题

lulili5219 2010-02-02 09:45:34
Nutch配置要爬行的初始URL时，是不是只能指定http://www.baidu.com这个形式的URL，不能指定包含正则表达式的URL（例如http://www.baidu.com/echomepages/[\s\S]* ）？
我想指定包含正则表达式的URL，应该如何设置？
...全文
110 3 打赏 收藏 举报
写回复
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
重返春季 2010-02-02
  • 打赏
  • 举报
 回复
楼主怎么解决的呀，学习一下，也帮你顶一下！
lulili5219 2010-02-02
  • 打赏
  • 举报
 回复
我用另一种方法解决了。。。看来这分是拿不回来了
lulili5219 2010-02-02
  • 打赏
  • 举报
 回复
只是个退而求其次的替代方法
相关推荐
search-1047:一个基于Nutch和Hadoop简单搜索引擎
search-1047 基于Nutch和Hadoop简易搜索引擎，排序的依据主要是PageRank以及由倒排索引文件计算的url page与输入模式的余弦距离值。 Nutch & Hadoop Nutch-1.9:. Nutch爬取产生的链接数据库（MapFile Format）linkdb，以及url的文本库segments/parse_text作为Hadoop输入。 Hadoop-2.6.0:. 文本预处理 作为PageRank的输入 SequenceFileRead.java: 将linkdb/data(SequenceFile Format)转换成linkdb_data(Text Format). OutLinks.java(MapReduce): 将linkdb_data转换成OutLinks_db(Text Format: 每行的第一个字段为源url，后面的所有字段为第一
nutch分布式爬虫单击爬取教程完整版
nutch分布式爬虫单击爬取教程完整版 目录 一、环境 二、安装目录 三、爬取网站 四、爬取步骤 1. 创建新的虚拟机 2. 配置Nutch （1）安装JDK 2 （2）安装Ant （3）构建nutch编译环境 （4）验证Nutch安装 3 . 分步爬取 （bin/nutch） （1）配置爬取属性 （2）配置URL种子列表 7 （3）分步爬取：准备 8 （4）分步爬取：三次抓取 9 （5）分步爬取：消除重复URL 15 （6）分步爬取：反转链接 16 （7）分步爬取：为Apache Solr建立索引 16
nutch的基本工作流程理解
（一）：Nutch的工作流程： Crawdb、linkdb 是web link目录，存放url及url的互联关系，作为爬行与重新爬行的依据。 segments 是主目录，存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行，因此每爬完一轮会生成一个segment目录。 index 是lucen...
Nutch的工作流程
Nutch的工作流程： Crawdb、linkdb 是web link目录，存放url及url的互联关系，作为爬行与重新爬行的依据。 segments 是主目录，存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行，因此每爬完一轮会生成一个segment目录。 index 是lucene的索引目录，是indexes目...
（连载文章）爬虫NUTCH 第二篇——简单配置（先睹为快）
[size=xx-large][color=red]具体照片：[url]http://t.jobdu.com/thread-1559-1-1.html[/url][/color][/size] 假定我们要爬九度。 step1： 下载nutch和cygwin http://apache.etoak.com//nutch/ 找到nutch-1.0.tar.gz http:...
发帖
Java

4.9w+

社区成员

8.5w+

社区内容

Java相关技术讨论
javaspring bootspring cloud 技术论坛（原bbs）
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
帖子事件
创建了帖子
2010-02-02 09:45
社区公告
暂无公告