社区
Web 开发
帖子详情
请问Heritrix怎么抓取需要用户名密码验证的网页?
tiger440
2009-06-01 09:51:22
想用爬虫抓取万方数据库的论文,用户名密码已经有了,怎么编这样的爬虫?最好能用heritrix扩展,请教高手有什么建议?有人建议用httpclient模拟登陆,但是跳转之后就不知道怎么办了……
...全文
156
7
打赏
收藏
请问Heritrix怎么抓取需要用户名密码验证的网页?
想用爬虫抓取万方数据库的论文,用户名密码已经有了,怎么编这样的爬虫?最好能用heritrix扩展,请教高手有什么建议?有人建议用httpclient模拟登陆,但是跳转之后就不知道怎么办了……
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
tianyu1002
2010-03-26
打赏
举报
回复
QQ283413468,可以交流交流
yyandlh
2009-06-10
打赏
举报
回复
没有搞过,学习一下,顺便帮你顶上去
tiger440
2009-06-10
打赏
举报
回复
用户名密码已经有了,只是不知道怎么模拟登陆
xue08161981
2009-06-03
打赏
举报
回复
不知道,也支持一下楼主
qiheia
2009-06-03
打赏
举报
回复
看看吧,很详细的。。。。
http://hi.baidu.com/chinesetea/blog/item/01a8a0ec8f04752f62d09ff2.html
blliy117
2009-06-03
打赏
举报
回复
呵呵!!我想很多人都想知道,
这个本来人家就是要密码,为了安全,要不然就没有意义了
肯定要用户名和密码啊
tiger440
2009-06-03
打赏
举报
回复
帮帮忙啊~
Heritrix
爬虫方案
进入运行参数设置页面后,有很多可以设定的参数,对于
需要
了解详情的设置,请点击设置框左边的“?使用
Heritrix
来
抓取
网页
必然会存在一些不
需要
的数据或者URL,
需要
用正则表达式来过滤到你不想要的东西,
抓取
和过滤的原理是一样的,就是具有共性的头和尾,把中间部分抓出来,正则表达式在
抓取
中应用比较多,也可以称之为一种规则,你
抓取
内容要按照一定的规则来
抓取
,无用的你还得按照一定的规则过滤。等的前面的内容,而只是简单指向本网站下的某个
网页
,那么在加入到URI中的时候,要记得加上头使得它是一个完整的
网页
的URL。
配置
heritrix
,使用网络爬虫
10.1
Heritrix
的使用入门 要想学会使用
Heritrix
,当然首先得能把它运行起来。然而,运行
Heritrix
并非一件容易的事,
需要
进行很多配置。在
Heritrix
的文档中对它的运行有详细的介绍,不过尽管如此,笔者仍然花了大量时间,才将其配置好并运行成功。 10.1.1 下载和运行
Heritrix
Heritrix
的下载页面为:http://crawler.archive.org/do...
Heritrix
配置及扩展
二、
Heritrix
功能概要
Heritrix
做为一个爬虫框架,它抽像并实现了一组爬虫的基础组件,不同类型的使用者可以替换不同的组件来实现期望的功能,如最大利用带去镜像站点、集中搜索特定主题、对已爬过的
网页
持续更新等,甚至可以加入不同的协议。 1.
Heritrix
的主要组件 概括的说,herittrix有三大组件: 范围组件(Scope):范围组件是一组DecideRule对象按指定...
heritrix
的web应用
第一步启动
heritrix
的web应用 第二步结合eclipse的应用 Lucene很强大,这点在前面的章节中,已经作了详细介绍。但是,无论多么强大的搜索引擎工具,在其后台,都
需要
一样东西来支援它,那就是网络爬虫Spider。 网络爬虫,又被称为蜘蛛Spider,或是网络机器人、BOT等,这些都无关紧要,最重要的是要认识到,由于爬虫的存在,才使得搜索引擎有了丰富的资源。
Heritrix
是...
Heritrix
配置
Heritrix
功能概要
Heritrix
做为一个爬虫框架,它抽像并实现了一组爬虫的基础组件,不同类型的使用者可以替换不同的组件来实现期望的功能,如最大利用带去镜像站点、集中搜索特定主题、对已爬过的
网页
持续更新等,甚至可以加入不同的协议。 1.
Heritrix
的主要组件 概括的说,herittrix有三大组件: 范围组件(Scope):范围组件是一组DecideRule对
Web 开发
81,091
社区成员
341,719
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章