请问Heritrix怎么抓取需要用户名密码验证的网页？

tiger440 2009-06-01 09:51:22
想用爬虫抓取万方数据库的论文，用户名密码已经有了，怎么编这样的爬虫？最好能用heritrix扩展，请教高手有什么建议？有人建议用httpclient模拟登陆，但是跳转之后就不知道怎么办了……
...全文
161 7 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
tianyu1002 2010-03-26
  • 打赏
  • 举报
 回复
QQ283413468,可以交流交流
yyandlh 2009-06-10
  • 打赏
  • 举报
 回复
没有搞过，学习一下，顺便帮你顶上去
tiger440 2009-06-10
  • 打赏
  • 举报
 回复
用户名密码已经有了，只是不知道怎么模拟登陆
xue08161981 2009-06-03
  • 打赏
  • 举报
 回复
不知道，也支持一下楼主
qiheia 2009-06-03
  • 打赏
  • 举报
 回复
看看吧，很详细的。。。。
http://hi.baidu.com/chinesetea/blog/item/01a8a0ec8f04752f62d09ff2.html
blliy117 2009-06-03
  • 打赏
  • 举报
 回复
呵呵！！我想很多人都想知道,
这个本来人家就是要密码，为了安全，要不然就没有意义了

肯定要用户名和密码啊
tiger440 2009-06-03
  • 打赏
  • 举报
 回复
帮帮忙啊~
heritrix3.1 官方指导手册
heritrix3.0/3.1官方手册 原版为英文 在此基础做了部分翻译
heritrix爬虫安装部署
介绍了heritrix爬虫安装和部署，以及运行示例和常见错误
Heritrix爬虫方案
进入运行参数设置页面后，有很多可以设定的参数，对于需要了解详情的设置，请点击设置框左边的“？使用Heritrix来抓取网页必然会存在一些不需要的数据或者URL，需要用正则表达式来过滤到你不想要的东西,抓取和过滤的原理是一样的,就是具有共性的头和尾,把中间部分抓出来，正则表达式在抓取中应用比较多,也可以称之为一种规则,你抓取内容要按照一定的规则来抓取,无用的你还得按照一定的规则过滤。等的前面的内容，而只是简单指向本网站下的某个网页，那么在加入到URI中的时候，要记得加上头使得它是一个完整的网页的URL。
配置heritrix，使用网络爬虫
10.1 Heritrix的使用入门 要想学会使用Heritrix，当然首先得能把它运行起来。然而，运行Heritrix并非一件容易的事，需要进行很多配置。在Heritrix的文档中对它的运行有详细的介绍，不过尽管如此，笔者仍然花了大量时间，才将其配置好并运行成功。 10.1.1 下载和运行Heritrix Heritrix的下载页面为：http://crawler.archive.org/do...
Heritrix配置及扩展
二、Heritrix功能概要 Heritrix做为一个爬虫框架，它抽像并实现了一组爬虫的基础组件，不同类型的使用者可以替换不同的组件来实现期望的功能，如最大利用带去镜像站点、集中搜索特定主题、对已爬过的网页持续更新等，甚至可以加入不同的协议。 1．Heritrix的主要组件 概括的说，herittrix有三大组件： 范围组件（Scope）：范围组件是一组DecideRule对象按指定...
Web 开发

81,122

社区成员

341,744

社区内容

发帖
与我相关
我的任务
社区描述
Java Web 开发
社区管理员
  • Web 开发社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章