社区
Java
帖子详情
Nutch配置要爬行的URL问题
lulili5219
2010-02-02 09:45:34
Nutch配置要爬行的初始URL时,是不是只能指定http://www.baidu.com这个形式的URL,不能指定包含正则表达式的URL(例如http://www.baidu.com/echomepages/[\s\S]* )?
我想指定包含正则表达式的URL,应该如何设置?
...全文
151
3
打赏
收藏
Nutch配置要爬行的URL问题
Nutch配置要爬行的初始URL时,是不是只能指定http://www.baidu.com这个形式的URL,不能指定包含正则表达式的URL(例如http://www.baidu.com/echomepages/[\s\S]* )? 我想指定包含正则表达式的URL,应该如何设置?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
重返春季
2010-02-02
打赏
举报
回复
楼主怎么解决的呀,学习一下,也帮你顶一下!
lulili5219
2010-02-02
打赏
举报
回复
我用另一种方法解决了。。。看来这分是拿不回来了
lulili5219
2010-02-02
打赏
举报
回复
只是个退而求其次的替代方法
Nutch
初体验之二
本文介绍了使用
Nutch
进行全网
爬行
的操作测试,包括创建相关目录和空的web数据库、将网址注入数据库、获取
URL
、创建索引并去除重复
URL
、
配置
Tomcat等步骤。还提到
Nutch
适合特定应用,可结合Lucene实现全文搜索,同时解决了
Nutch
0.6输入中文乱码
问题
。
Nutch
URL
筛选
问题
本文介绍了解决
Nutch
爬虫在抓取百度股吧
URL
时遇到的
问题
。通过调整
配置
文件regex-
url
filter.txt中的正则表达式,成功解决了
URL
被忽略的情况。
Nutch
完整安装文档
本文详细介绍了如何在Windows系统中安装并
配置
Nutch
搜索引擎,包括安装Cygwin、
Nutch
以及测试命令的过程,同时提供了安装
配置
Nutch
的详细步骤,帮助用户快速上手。
Nutch
使用总结
本文详细介绍了开源搜索引擎
Nutch
的使用方法、
配置
步骤、
爬行
流程、搜索测试及解决常见
问题
的方法,包括
Nutch
的目录结构、
爬行
原理、
配置
细节、搜索功能和中文乱码解决方案。
Nutch
2.3 + Hbase
配置
到
爬行
本文详细介绍如何在本地环境中部署并
配置
Nutch
爬虫系统,包括JDK、Hbase、Ant及
Nutch
的安装
配置
过程,并通过实例演示如何进行网页抓取及数据存储。
Java
51,408
社区成员
86,098
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章