请问Heritrix怎么抓取需要用户名密码验证的网页？

tiger440 2009-06-01 09:51:22
想用爬虫抓取万方数据库的论文，用户名密码已经有了，怎么编这样的爬虫？最好能用heritrix扩展，请教高手有什么建议？有人建议用httpclient模拟登陆，但是跳转之后就不知道怎么办了……
...全文
185 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
tianyu1002 2010-03-26
  • 打赏
  • 举报
 回复
QQ283413468,可以交流交流
yyandlh 2009-06-10
  • 打赏
  • 举报
 回复
没有搞过，学习一下，顺便帮你顶上去
tiger440 2009-06-10
  • 打赏
  • 举报
 回复
用户名密码已经有了，只是不知道怎么模拟登陆
xue08161981 2009-06-03
  • 打赏
  • 举报
 回复
不知道，也支持一下楼主
qiheia 2009-06-03
  • 打赏
  • 举报
 回复
看看吧，很详细的。。。。
http://hi.baidu.com/chinesetea/blog/item/01a8a0ec8f04752f62d09ff2.html
blliy117 2009-06-03
  • 打赏
  • 举报
 回复
呵呵！！我想很多人都想知道,
这个本来人家就是要密码，为了安全，要不然就没有意义了

肯定要用户名和密码啊
tiger440 2009-06-03
  • 打赏
  • 举报
 回复
帮帮忙啊~
Heritrix3故障排除手册：常见问题诊断与解决方案
本文档系统梳理Heritrix3在实际使用中高频出现的连接超时、认证失败、内容提取异常及I/O错误等典型问题，提供对应源码级解决方案（如FetchHTTP.java、FormLoginProcessor.java、ExtractorHTML.java等模块配置调整），并给出日志分析、配置验证、网络测试等标准化排查流程，聚焦于保障大规模网络存档爬虫的稳定高效运行。
【采用BPSK或GMSK的Turbo码】MSK、GMSK调制二比特差分解调、turbo+BPSK、turbo+GMSK研究（Matlab代码实现）【采用BPSK或GMSK的Turbo码】MSK、GMS
【采用BPSK或GMSK的Turbo码】MSK、GMSK调制二比特差分解调、turbo+BPSK、turbo+GMSK研究（Matlab代码实现）【采用BPSK或GMSK的Turbo码】MSK、GMS内容概要：本文主要介绍了采用BPSK或GMSK调制方式的Turbo码相关技术研究，重点涵盖GMSK调制下的二比特差分解调方法、Turbo码与BPSK/GMSK调制相结合的系统性能分析，并提供了完整的Matlab代码实现方案。研究内容包括调制解调原理、编码结构设计、误码率仿真及系统优化等关键环节，旨在通过仿真手段验证所提出方案的有效性和可靠性，帮助研究人员深入理解现代数字通信系统中的关键技术和其实现方法。; 适合人群：具备一定通信原理和Matlab编程基础，从事无线通信、信号处理、编码理论等相关领域的研究生、科研人员及工程技术人员。; 使用场景及目标：①掌握GMSK调制与Turbo码结合的系统设计与仿真方法；②学习二比特差分解调算法在实际通信系统中的应用；③通过Matlab代码实现提升对数字调制解调和信道编码技术的理解与实践能力；④为相关课题研究、毕业设计或工程项目提供参考和技术支持。; 阅读建议：建议读者结合文中提供的Matlab代码逐模块运行与调试，对照通信系统基本原理深入理解各环节功能，重点关注调制解调过程与Turbo译码的协同工作机制，并尝试修改参数以观察系统性能变化，从而达到理论与实践相结合的学习效果。
LA 1010逻辑分析仪使用及I2C波形分析
代码转载自：https://pan.quark.cn/s/a4b39357ea24 LA 1010 逻辑分析仪被视作一种效能卓越的数字信号分析设备，其核心功能在于对数字通信协议，例如I²C，进行检测与解构。本资源将集中阐述LA 1010的操作流程以及如何借助该设备对I²C协议的波形展开分析。 确保逻辑分析仪被正确地连接至目标系统是极为关键的环节。在运用LA 1010的过程中，必须将分析仪的通道0与通道1分别对应连接至目标装置的SCL（时钟）与SDA（数据）线路。务必保证连接的稳固性且无任何干扰因素，以此确保数据采集的精确度。 随后，需要设定采样参数。采样频率对于能否成功捕捉到信号具有决定性的作用。针对I²C协议，通常选用的采样频率范围介于100kHz到400kHz之间，这一范围的选择取决于实际应用场景中I²C总线的运行速度。然而，LA 1010所能达到的最高采样速率可能高达500MHz，因此需要根据具体需求进行相应的调整。此外，还必须精心挑选适配目标设备工作电压的电压等级，例如3.3V、5V或1.8V。 在软件操作层面，需要选取恰当的通道与协议种类，即I²C。一旦启动采样，逻辑分析仪便开始记录相关数据。软件界面通常会实时展示波形图，为观察与分析提供便利。 关于I²C协议波形的解读，我们可以遵循以下步骤： 1. 总线处于空闲状态时：SCL与SDA均维持在高电平位置，这表明总线当前未进行数据传输。 2. 传输起始信号：当SCL处于高电平期间，SDA线从高电平转换至低电平，此动作标志着数据传输的开始。 3. 地址、数据及应答的识别：在每一个SCL高电平脉冲的持续时间内，SDA线上的电平状态代表了数据位。地址与数据的传输均为双向过程，而读写标识则由SDA线上的电平来...
C# uses BouncyCastle.Crypto 1.8.10 for SM2, SM3, SM4 (sign, verify, encrypt, decrypt)
下载代码方式：https://pan.quark.cn/s/a4b39357ea24 在当前文档中，我们将详细研究在C#开发平台中借助BouncyCastle.Crypto库1.8.10版本达成中国的国家标准密码学方案，涵盖SM2、SM3以及SM4这几项技术。这些密码学方案在中国网络安全保障与数据维护领域具有核心地位，为本地化安全解决方案提供了坚实的技术支撑。 让我们首先掌握这三个国家密码算法的基本原理： 1. **SM2算法**：SM2是一种基于椭圆曲线密码体系（ECC）的公钥加密方案，主要用于数字签名和加密操作。它提供了一种高效且安全的身份确认和数据防护机制。 2. **SM3算法**：SM3是一种密码学哈希函数，与SHA-256类似，能够将任意长度的输入信息压缩为固定长度的摘要，常用于数据完整性的检验和确认。 3. **SM4算法**：SM4是一种分组密码方案，采用128位的分组大小和128位的密钥，适用于对称加密，广泛用于无线网络传输和存储数据的加密处理。 接下来，我们将逐步解析如何运用BouncyCastle.Crypto库在C#环境下实现这些密码学方案： **1. 引入库与配置开发环境** 在C#应用程序中，需要通过NuGet包管理工具或手动方式添加BouncyCastle库的引用。务必确保安装的是1.8.10版本。 ```csharp using Org.BouncyCastle.Crypto; using Org.BouncyCastle.Crypto.Parameters; using Org.BouncyCastle.Security; ``` **2. 实施SM2的加签与解签** SM2的签名过程和验证操作涉及椭圆曲线运算。必须创建一个私...
Web 开发

81,111

社区成员

341,725

社区内容

发帖
与我相关
我的任务
社区描述
Java Web 开发
社区管理员
  • Web 开发社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章