社区
Apache
帖子详情
在配置网络爬虫heritrix的时候遇到的问题。
lonelyriver
2008-11-07 12:07:10
附件中 上传了我 在加载第三方jar包 并且运行org.archive.crawler.herittix主类的时候的出错信息。麻烦给分析下。
...全文
183
3
打赏
收藏
在配置网络爬虫heritrix的时候遇到的问题。
附件中 上传了我 在加载第三方jar包 并且运行org.archive.crawler.herittix主类的时候的出错信息。麻烦给分析下。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
lonelyriver
2008-11-12
打赏
举报
回复
我按照网上说的方法做了个批处理 命名为list.bat
java -Xmx512m -Dheritrix.home=d:\\heritrix -cp "d:\\heritrix\\lib\\commons-codec-1.3.jar;d:\\heritrix\\lib\\commons-collections-3.1.jar;d:\\heritrix\\lib\\dnsjava-1.6.2.jar;d:\\heritrix\\lib\\poi-scratchpad-2.0-RC1-20031102.jar;d:\\heritrix\\lib\\commons-logging-1.0.4.jar;d:\\heritrix\\lib\\commons-httpclient-3.0.1.jar;d:\\heritrix\\lib\\commons-cli-1.0.jar;d:\\heritrix\\lib\\mg4j-1.0.1.jar;d:\\heritrix\\lib\\javaswf-CVS-SNAPSHOT-1.jar;d:\\heritrix\\lib\\bsh-2.0b4.jar;d:\\heritrix\\lib\\servlet-tomcat-4.1.30.jar;d:\\heritrix\\lib\\junit-3.8.1.jar;d:\\heritrix\\lib\\jasper-compiler-tomcat-4.1.30.jar;d:\\heritrix\\lib\\commons-lang-2.1.jar;d:\\heritrix\\lib\\itext-1.2.0.jar;d:\\heritrix\\lib\\poi-2.0-RC1-20031102.jar;d:\\heritrix\\lib\\jetty-4.2.23.jar;d:\\heritrix\\lib\\commons-net-1.4.1.jar;d:\\heritrix\\lib\\libidn-0.5.9.jar;d:\\heritrix\\lib\\ant-1.6.2.jar;d:\\heritrix\\lib\\fastutil-5.0.3-heritrix-subset-1.0.jar;d:\\heritrix\\lib\\je-3.0.12.jar;d:\\heritrix\\lib\\commons-pool-1.3.jar;d:\\heritrix\\lib\\jasper-runtime-tomcat-4.1.30.jar;d:\\heritrix\\heritrix-1.10.1.jar" org.archive.crawler.Heritrix
在命令行d:\heritrix\lib>list.bat 没有出错提示和任何其他错误
结果 :d:\heritrix\lib>java -Xmx512m -Dheritrix.home=d:\\heritrix -cp "d:\\heritrix\\lib\\commons-codec-1.3.jar;d:\\heritrix\\lib\\commons-collections-3.1.jar;d:\\heritrix\\lib\\dnsjava-1.6.2.jar;d:\\heritrix\\lib\\poi-scratchpad-2.0-RC1-20031102.jar;d:\\heritrix\\lib\\commons-logging-1.0.4.jar;d:\\heritrix\\lib\\commons-httpclient-3.0.1.jar;d:\\heritrix\\lib\\commons-cli-1.0.jar;d:\\heritrix\\lib\\mg4j-1.0.1.jar;d:\\heritrix\\lib\\javaswf-CVS-SNAPSHOT-1.jar;d:\\heritrix\\lib\\bsh-2.0b4.jar;d:\\heritrix\\lib\\servlet-tomcat-4.1.30.jar;d:\\heritrix\\lib\\junit-3.8.1.jar;d:\\heritrix\\lib\\jasper-compiler-tomcat-4.1.30.jar;d:\\heritrix\\lib\\commons-lang-2.1.jar;d:\\heritrix\\lib\\itext-1.2.0.jar;d:\\heritrix\\lib\\poi-2.0-RC1-20031102.jar;d:\\heritrix\\lib\\jetty-4.2.23.jar;d:\\heritrix\\lib\\commons-net-1.4.1.jar;d:\\heritrix\\lib\\libidn-0.5.9.jar;d:\\heritrix\\lib\\ant-1.6.2.jar;d:\\heritrix\\lib\\fastutil-5.0.3-heritrix-subset-1.0.jar;d:\\heritrix\\lib\\je-3.0.12.jar;d:\\heritrix\\lib\\commons-pool-1.3.jar;d:\\heritrix\\lib\\jasper-runtime-tomcat-4.1.30.jar;d:\\heritrix\\heritrix-1.10.1.jar" org.archive.crawler.Heritrix
d:\heritrix\lib> (光标停留在了此处)
但是我在浏览器中打:http://localhost:8080 出错。
lonelyriver
2008-11-07
打赏
举报
回复
是不是跟环境变量的设置有关?
lonelyriver
2008-11-07
打赏
举报
回复
麻烦给拆解一下:noclassDefoundError;Unknown Source;Native Method; 这几个 Exception是在加载jar包和主方法的时候遇到的。
分别是什么意思呢?该如何解决。
网络
爬虫
(
heritrix
)代码
在本主题中,我们重点关注
Heritrix
,一个开源、可
配置
且强大的
网络
爬虫
工具,广泛用于构建搜索引擎和其他需要大量网页数据的应用。 标题中的"
网络
爬虫
(
heritrix
)代码"意味着我们将探讨
Heritrix
的安装、
配置
和编程...
配置
Heritrix
及常见
问题
解决
Heritrix
是一款强大的开源
网络
爬虫
工具,由互联网档案...总的来说,
配置
Heritrix
涉及多个方面,从理解工作流机制到解决实际抓取过程中
遇到
的
问题
。通过深入学习和实践,可以有效地利用
Heritrix
构建自己的
网络
爬虫
系统。
开源的
爬虫
软件
Heritrix
3.1.0
7. **错误处理与恢复**:
Heritrix
具备错误处理和恢复机制,
遇到
网络
问题
或服务器错误时,它能够记录失败的请求并尝试重新爬取。 8. **日志与监控**:
Heritrix
提供了丰富的日志记录和实时监控功能,方便用户了解
爬虫
...
heritrix
爬虫
工具的使用
Heritrix
是一款开源的
网络
...你可以通过阅读源码来深入理解其工作原理,利用
配置
示例快速开始你的
爬虫
项目,查阅文档解决
遇到
的
问题
。对于初学者,建议先从官方文档和社区论坛开始学习,逐步掌握
Heritrix
的使用技巧。
heritrix
的详细
配置
与 使用资料
在
配置
过程中可能会
遇到
的错误是 `java.lang.UnsupportedClassVersionError`,这通常表示你的 Java 运行环境版本与
Heritrix
需要的版本不匹配。解决这个
问题
的方法是检查你的 JDK 版本,确保它与
Heritrix
的需求...
Apache
24,918
社区成员
16,542
社区内容
发帖
与我相关
我的任务
Apache
Web 开发 Apache
复制链接
扫一扫
分享
社区描述
Web 开发 Apache
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章