-
等级
本版专家分：0结帖率 100% -
我要在windows下部署nutch的全文检索系统，看看他的分布式是怎么实现的？有那位给点建议！展开阅读全文
-
等级
本版专家分：68
-
nutch爬虫在windows下的运行：
网上已经有很多参考的资料了，但是我想这个布局更加简单明了，通过这个布局已经一次性地顺利运行成功。
1。安装cygwin。
我先到网上下载了cygwin，在安装的时候遇到了些问题。ls命令不支持，
系统提示缺少dll文件。“我的电脑”鼠标右键配制环境变量，将C:cygwinbin
目录加入path环境变量，将cygwin运行需要的dll文件注册到系统。然后启动
cygwin，ok！
还要配置以下环境变量：NUTCH_JAVA_HOME=C:/java/jdk1.5.7
2。测试nutch。
网上说得已经很明白了，呵呵。cygwin下 “cd /cygdrive/d/backup/nutch-0.7/bin”
在bin目录下运行nutch命令 “sh nutch”。正常的话 将打印一大坨命令说明；不正常
情况目前还没遇到，就不知道了哈；
3。运行爬虫：
网上说在nutch的根目录下建立urls文件，nutch0.7.1似乎不行，也许是有别的配制，
我将urls文件放在nutch的bin目录下（此文件不要后缀）。爬虫程序才可以发现urls文件。这个文件名
也是可以随便修改的。只要在运行爬虫的命令中指明正确的文件名就可以。在urls中
添加 http://www.nutchchina.com 作为爬行的根目录；
nutch/conf/crawl-urlfilter.txt中设置爬行规则
+^http://([a-z0-9]*.)*nutchchina.com/
配制完这些后，cygwin中cd到nutch的bin目录，运行以下命令
sh nutch crawl urls -dir crawl.nutchchina.com -depth 3 -threads 4
urls 就是存放爬行根目录的文件；
crawl.nutchchina.com是我们指定的索引文件存放目录，爬虫在执行的时候，一些临时文件存放在这个目录；
-depth 3 指定爬行深度；
-threads 4 指定启动4个线程进行爬行；
等待。。。。一堆打印信息；因为www.nutchchina.com信息不多，所以很快就over了。一分钟不到；
这个时候索引已经建立了。
4。配制tomcat进行查询
昨天wjjj网友说tomcat运行不了nutch。我不知道他具体的原因，下面是我的配置过程，一次就通过了；
将nutch目录下的nutch-0.7.war拷贝到tomcat的webapps目录下，解压缩。将原来tomcat的ROOT目录改名，
比如ROOT.bak。然后将nutch-0.7目录改为ROOT。然后到D:Tomcat4webappsROOTWEB-INFclasses目录下
修改nutch-site.xml。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="nutch-conf.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<nutch-conf>
<property>
<name>searcher.dir</name>
<value>D:backupnutch-0.7bincrawl.nutchchina.com</value>
</property>
</nutch-conf>
指定索引目录为刚才爬虫建立的索引路径 crawl.nutchchina.com.
启动tomcat。访问 http://localhost:8080
应该看到查询页面了。
我感觉查询结果不是很满意，也许是因为网站基本都是动态页面，没有静态页面。很多查询结果都跳转到了首页。
-
等级
本版专家分：68
-
(2)开始抓取啦
执行以下命令:
$cd E:\nutch-0.9
$bin/nutch crawl url.txt -dir crawled -depth 3 -threads 4 >&crawl.log
解释如下:bin/nutch表示开始抓取,crawl是抓取命令,url.txt也就是我们前面新建的用于保存顶级网址的文本文件,-dir crawled表示新建路径crawled,-depth 3抓取深度为3,-threads 4线程为4,并将抓取结果写(>&)到crawl.log中.
这里的命令实在记不住呢,没关系,到E:\nutch-0.9\src\java\org\apache\nutch\crawl 下面找crwal.java文件,看一下就行了,usage:Crawl <urlDir> [-dir d] [-threads n] [-depth i] [-topN N].
抓取结果可以到crawl.log下面看,统计抓取网页个数的命令是
$cd E:\nutch-0.9
$bin/nutch readdb crawled/crawldb -stats
当看到db-featched个数非零时候,表面抓取成功啦.到现在为止windows上面的部署就完成了,下面就是到tomcat下面去做搜索测试吧.
(3)Tomcat搜索测试(针对Tomcat做的更改)
1）将e:\tomcat 6.0\webapps下的ROOT文件夹名改成ROOT1；
2）将e:\nutch-0.9目录的nutch-0.9.war复制到e:\tomcat 6.0\webapps下，并将其改名为ROOT.war,使用命令
$jar -xvf ROOT.war
将其解压为ROOT文件夹.
3）打开ROOT\WEB-INF\classes下的nutch-site.xml文件，修改成如下形式：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="nutch-conf.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<nutch-conf>
<property>
<name>searcher.dir</name>
<value>e:/nutch-0.9/crawled</value>
</property>
</nutch-conf>
其中的“<value>e:/nutch-0.9/crawled</value>”部分，读者应根据自己的设置进行相应修改。
4)最后打开tomcat(在bin下面有tomcat6.exe文件双击即可,注意一定能够要打开,否则是看不到结果的),然后在浏览器中输入 http://localhost:8080/
即可进行搜索了.如果出现中文乱码的情况,解决方法如下:
修改e:\tomcat 6.0\conf下的server.xml文件，将其中的Connector部分改成如下形式即可：
<Connector port="8080" maxThreads="150" minSpareThreads="25" maxSpareThreads="75"
enableLookups="false" redirectPort="8443" acceptCount="100"
connectionTimeout="20000" disableUploadTimeout="true"
URIEncoding="UTF-8" useBodyEncodingForURI="true" />
-
等级
本版专家分：68
-
配置环境：Debian 4 (kernel 2.4)
配置软件：
1, Java jdk-1.5
1,1 下载安装
apt-get install sun-java5-jdk
1,2 修改环境变量
vi /etc/profile
在末尾加上
QUOTE:
JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun-1.5.0.10
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export PATH
export JAVA_HOME
export CLASSPATH
1,3 测试
java -version
2, tomcat-5.5
2,1 下载
from: http://tomcat.apache.org/
wget http://mirror.olnevhost.net/pub/ ... omcat-5.5.23.tar.gz
2,2 在/opt目录下解压（顺便哪都行，放到/opt下比较整齐）
安装目录：/opt/tomcat5.5
2,3 修改配置
vi conf/server.xml
QUOTE:
<!-- Define a non-SSL HTTP/1.1 Connector on port 8080 -->
<Connector port="8080" maxHttpHeaderSize="8192"
maxThreads="150" minSpareThreads="25" maxSpareThreads="75"
enableLookups="false" redirectPort="8443" acceptCount="100"
c disableUploadTimeout="true"
URIEncoding="UTF-8" useBodyEncodingForURI="true" />
默认服务端口为8080，若有冲突（如Apache），则可通过此配置文件更改端口（蓝色）
如果配置后nutch出现中文乱码问题，则增加编码配置（红色）
2,4 启动服务
/opt/tomcat5.5/bin/startup.sh
2,5 题外话
Debian下可通过 apt-get install tomcat5.5 来安装，
默认安装后路径为 /usr/share/tomcat5.5
并且增加到服务 /etc/init.d/tomcat5.5
注意，此时webapps目录并不在安装路径，而在/var/lib/tomcat5.5/webapps/
初始时该目录并无内容，所以访问时会出现 http 400 错误的请求，只需在该路径放置web应用就可。
（在使用这种方式安装tomcat后，nutch老是没法运行，改成上面的安装就可以，不知是什么问题）
3, nutch-0.9
3,1 下载 http://lucene.apache.org/nutch/
3,2 解压后，建立目录，建 urls/nutch.txt文件，指定爬取列表
mkdir urls
vi urls/nutch.txt
写入要爬取的网站，这里实验南开bbs
QUOTE:
http://bbs.nankai.edu.cn
3,3 指定爬虫规则
vi conf/crawl-urlfilter.txt
QUOTE:
# accept hosts in MY.DOMAIN.NAME
#+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
把这里改成你要的域名
如 +^http://bbs.nankai.edu.cn/
如果爬取网站的url含有以下过滤字符，如 ? 和 = ，而你又需要这些访问，可以更改过滤表
QUOTE:
# skip URLs containing certain characters as probable queries, etc.
-[?*!@=]
改为
-[*!@]
3,4 修改 conf/nutch-site.xml
QUOTE:
<configuration>
<property>
<name>http.agent.name</name>
<value>HD nutch agent</value>
</property>
<property>
<name>http.agent.version</name>
<value>1.0</value>
</property>
</configuration>
如果没有配置此agent，爬取时会出现 Agent name not configured! 的错误。
3.5 开始爬取
可以指定不同的抓去深度，线程数，
bin/nutch crawl urls -dir NKBBS -depth 50 -threads 5 -topN 1000
爬取索引完成后，结果生成在设定的目录中，这里是NKBBS
3,6 部署web前端
将 nutch-0.9.war 拷贝到webapps目录下
cp nutch-0.9.war /opt/tomcat5.5/webapps/
通过浏览器访问 http://localhost:8080/nutch-0.9/ 后，war包自解压。
3,7 修改nutch的web配置
vi /opt/tomcat5.5/webapps/nutch-0.9/WEB-INF/classes/nutch-site.xml
将内容更改为索引生成的目录。
QUOTE:
<nutch-conf>
<property>
<name>searcher.dir</name>
<value>/home/northtree/SearchEngine/nutch-0.9/NKBBS/</value>
</property>
</nutch-conf>
-
等级
本版专家分：649 -
一楼真强，顺便学习一下。
-
等级
本版专家分：68
-
haoya
-
等级
本版专家分：1121 -
建议看英文原版的配置资料，中文的都是大家抄来抄去，错误颇多，
http://today.java.net/pub/a/today/2006/02/16/introduction-to-nutch-2.html
-
等级
本版专家分：104 -
要是看得懂的话..
- Nutch+Lucene搜索引擎开发实践
使用开源工具Nutch和Lucene在局域网下搭建垂直搜索引擎。
- nutch搜索引擎的搭建以及配置
最近公司需要搭建一个搜索引擎,于是就发现了apache旗下的这个nutch,也看了不少的文章,就在本地搭建了一个进行测试,发现局域网抓取还是比较好的,但是在互联网抓取...nutch搜索引擎的搭建以及配置 实验环境: vmwa...
- Nutch搜索引擎（第4期）_ Eclipse开发配置
前三期分别介绍了Nutch与Solr在Linux上面的安装，并做了简单的应用，这一期从开发的角度进行，因为我们日常最熟悉的开发环境是Windows，所以本期详细介绍Windows平台的Nutch二次开发所需要进行的配置安装。...
- 搭建基于nutch的搜索引擎
这两天闲着没事，看了看开源项目luncence和nutch，冲动之下利用nutch搭建一个简单的仿百度下的小小的搜索引擎，在搭建过程中，参考了于天恩老师写的《LUCENE搜索引擎开发权威经典》一书中后面的一章，感觉这本书对...
- 基于Nutch的站内搜索引擎搭建
现在Nutch的版本已经出到1.51了（截止到7月份），新版资料少，入门还是找经典的版本混个眼熟先，本文采用0.9版，在Windows下搭建一个简单的站内搜索引擎，内容如下： ===所需装备=== ===基本部件安装（从简述）===...
- Java知识体系最强总结(2020版)
本人从事Java开发已多年，平时有记录问题解决方案和总结知识点的习惯，整理了一些有关Java的知识体系，这不是最终版，会不定期的更新。也算是记录自己在从事编程工作的成长足迹，通过博客可以促进博主与阅读者的共同...
- 利用nutch、hbase和solr搭建搜索引擎
借此机会学习下搜索引擎的搭建和原理。 开源界最完善的开源环境就是利用nutch、hbase与solr搭配的。nutch用来爬取数据，hbase存取数据，solr建立索引并支持在线搜索。 1、hbase环境搭建 2、natch环境搭建
- 搭建基于nutch的搜索引擎
这两天闲着没事，看了看开源项目luncence和nutch，冲动之下利用nutch搭建一个简单的仿百度下的小小的搜索引擎，在搭建过程中，参考了于天恩老师写的《LUCENE搜索引擎开发权威经典》一书中后面的一章，感觉这本书对...
- nutch开发部署
1，apache nutch 官方说明： Apache的Nutch是一个开源Java编写的网络爬虫。...Solr是一个开源的全文搜索框架，在Solr中，我们可以搜索Nutch抓取下来的网页。幸运的是， Nutch和Solr中之间的整合是非常简单的。
- Windows下配置nutch
Windows下配置nutch轻松拥有自己的小引擎...Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫 Nutch 致力于让每个人能很容易, 同时花费很少就可...
- Nutch1.2搜索引擎使用详解
Nutch作为一款刚刚诞生的开源Web搜索引擎，提供了除商业搜索引擎外的一种新的选择。个人、企业都可通过Nutch来构建适合于自身需要的搜索引擎平台，提供适合于自身的搜索服务，而不必完全被动接收商业搜索引擎的各种...
- 基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。 搜 索引擎架构在ElasticSearch之上，是一个典型的分布式在线实时交互查询架构，...
- windows下nutch搜索引擎简单配置
一．安装准备 1． Cygwin：Nutch的标准配置环境应该是linux，为模拟linux环境，安装cygwin 下载地址：http://www.cygwin.com/ 2． Nutch1.2：用于抓取网页并索引网页文...
- 转：基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎 网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只...
- Nutch配置详解
配置软件： 1、 Java jdk-1.6 1.1 下载安装 from: http://www.sun.com 安装目录：C:\Java\jdk1.6.0_03 1.2 修改环境变量 JAVA_HOME=C:\Java\jdk1.6.0_03\bin CLASSPATH＝C:\Java\jdk1.6.0_03\lib\dt....
- Nutch 的集群式搜索引擎
eclipse插件经典收集http://www.javago.net/eclipse_plug/index.htmoracle ,mysql,sqlserver,sybase经典文章收集http://www.javago.net/db_pindao.htmljava专题研究，面试题收集...
- 使用nutch搭建类似百度/谷歌的搜索引擎
Nutch是基于Lucene实现的搜索引擎。包括全文搜索和Web爬虫。Lucene为Nutch提供了文本索引和搜索的API。1.有数据源，需要为这些数据提供一个搜索页面。最好的方式是直接从数据库中取出数据并用Lucene API 建立索引，...
- nutch1.6安装与在myeclipse上部署
1.2 资料相对多一些，apache发布的有搜索模块，nutch-1.2.war，主要是早期做的是搜索引擎。 1.6、2.1后两个版本主要放在网络爬虫上面，没有war包，相对以前版本也没有crawl-urlfilter.txt文件，所以搜到以前的资料...
- Linux上 Nutch 1.3 + Solr 3.4.0 + Tomcat6.0 搜索引擎单节点搭建笔记
Nutch 是apache下的一款开源web搜索引擎，而Solr则是Apache下的一款基于Lucene的企业级开源全文搜索平台，本身不具有网页爬取功能。从Nutch 1.3 起，Nutch集成了Solr的索引框架，通过Solr为Nutch爬取到的数据建立...
- 用Nutch2.3+MongoDB+Elasticsearch1.4开发垂直搜索引擎
Nutch下载上nutch官网下载页面下载最新的代码包 http://nutch.apache.org/downloads.html 下载并解压后，得到如下文件夹 Elasticsearch1.4下载最新的Elasticsearch是5.1版本，但由于Nutch2.3内置的是Elastic...
- linux下nutch的安装配置
Nutch，一个爬虫或者搜索引擎（加上索引的话）。 现在Nutch的最新版本是Nutch2.1。Nutch所有的版本可在这个网址下载http://archive.apache.org/dist/nutch/，这里使用的是Nutch1.6。 1. 下载Nutch1.6. 到...
- Nutch搜索引擎（第2期）_ Solr简介及安装
同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。 Solr最初由CNET Networks开发...
- 搜索引擎迈进三 nutch 乱码解决一
nutch测试报告nutch页面专题nutch 经典文章专题本站搜索更多关于“nutch 界面乱码”...【转】Nutch部署及相关问题（中文乱码等）修正 2009-03-09 16:58 分类：学习空间 字号： 大大 中中 小小 来源：http://vicallo
- nutch和solr配置实用
Nutch是一个开源的、Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。 Solr拥有像 web-services API的独立的企业级搜索服务器。用 XML通过 HTTP向它添加文档(称为做索引)，通过HTTP 查询...
- 【转】站内搜索引擎Nutch【配置】全过程（ubuntu）
下载:可以去Apache的官方网页...安装辅助软件（运行环境）：①JDK，Nutch是用java写的一个开源项目，所以要使它正常运行必须安装JDK（也为了能修改nutch），Java 1.4.x以上版本，设...
- Qt 入门中文资料 Qt从入门到精通
c++ Qt中文入门教程，从Qt入门到Qt的深入研究。
- MATLAB 2018a正式版【全平台官方包+图文教程+独创破解程序】
MATLAB R2018a 于16日正式发布，其中包含一系列 MATLAB/Simulink 的新功能和新产品，还包括 94 个其他产品的更新和修补程序。 解压密码：CSDN 其他说明见：https://www.52pojie.cn/thread-713048-1-1.html
- python实现扫描线填充算法，可以画凹多边形，采用matplotlib模块绘制图形
python实现扫描线填充算法，使用matplotlib模块将绘制的图形保存并画出来，可以画凹多边形
- javaWeb图书馆管理系统源码mysql版本
系统介绍 图书馆管理系统主要的目的是实现图书馆的信息化管理。图书馆的主要业务就是新书的借阅和归还，因此系统最核心的功能便是实现图书的借阅和归还。此外，还需要提供图书的信息查询、读者图书借阅情况的查询等功能。项目实施后，能够提高图书馆的图书借阅、归还流程，提高工作效率。整个项目需要在两个月的时间内交付用户使用。 操作注意事项 （1）本系统的用户名为：tsoft，密码为：111 （2）读者类型不同，可借图书的本数也有所区别。 操作流程 （1）用户登录图书馆管理系统后，可看到图书借阅排行榜，通过排行榜可以看出借阅图书的名称、图书类型、借阅次数等相关信息。 （2）单击“系统设置”/“图书馆信息”命令，对图书馆信息进行设置操作。 （3）单击“系统设置”/“管理员设置”命令，对管理员信息进行添加、权限设置、查询及删除操作。 （4）单击“系统设置”/“参数设置”命令，对办证费用及有效期限信息进行添加操作。 （5）单击“系统设置”/“书架设置”命令，对书架信息进行添加、修改及删除操作。 （6）单击“读者管理”/“读者类型管理”命令，对读者类型信息进行添加、修改及删除操作。 （7）单击“读者管理”/“读者档案管理”命令，对读者信息进行添加、修改及删除操作。 （8）单击“图书管理”/“图书类型设置”命令，对图书类型信息进行添加、修改及删除操作。 （9）单击“图书管理”/“图书档案管理”命令，对图书信息进行添加、修改及删除操作。 （10）单击“图书借还”/“图书借阅”命令，对图书借阅信息添加操作。 （11）单击“图书借还”/“图书续借”命令，对图书续借信息进行添加操作。 （12）单击“图书借还”/“图书归还”命令，对图书归还信息进行添加操作。 （13）单击“系统查询”/“图书档案查询”命令，对图书档案信息进行查询操作。 （14）单击“系统查询”/“图书借阅查询”命令，对借阅的图书信息进行查询操作。 （15）单击“系统查询”/“借阅到期提醒”命令，对借阅到期提醒信息进行查询操作。 （16）单击“更改口令”按钮，对当前的用户密码进行修改操作。 （17）单击“退出系统”按钮，退出当前操作系统。
- ASP.NET 开发课程 MVC5 入门篇
MVC全名是Model View Controller，是模型(model)－视图(view)－控制器(controller)的缩写，一种软件设计典范，用一种业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑。 主讲内容 第一讲 MVC5简介 第二讲 MVC 控制器 第三讲 视图 第四讲 模型 等课程 学会MVC5基本使用