java 爬取动态页面信息

dickens88 2012-04-05 08:29:21
小弟学习用httpclient爬取网页信息,发现有些动态页面右键查看源码的时候,在html中看不到显示的数据信息,而只有很多的function(),请问如果从动态页里面爬取想要的数据信息?
...全文
342 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
qingralf 2012-04-06
  • 打赏
  • 举报
回复
一般是找到这些数据是哪里来的
1 是直接动态语言写到页面的某个function中,可以取到这个function的字符串形式来解析数据
2 大多数的页面都是通过一个另外的请求(包含ajax)来获取数据,通过网络监测工具可以看到发包的具体过程.直接模拟请求这个数据地址就行

需要你能对js了解多一些,可以知道页面的任意一部分数据源自哪里
dickens88 2012-04-06
  • 打赏
  • 举报
回复
有木有人能给提供点参考啊
dickens88 2012-04-06
  • 打赏
  • 举报
回复
[Quote=引用 2 楼 的回复:]

一般是找到这些数据是哪里来的
1 是直接动态语言写到页面的某个function中,可以取到这个function的字符串形式来解析数据
2 大多数的页面都是通过一个另外的请求(包含ajax)来获取数据,通过网络监测工具可以看到发包的具体过程.直接模拟请求这个数据地址就行

需要你能对js了解多一些,可以知道页面的任意一部分数据源自哪里
[/Quote]

在哪里能找到这方面的例子呢?
Java Agent是Arthas使用的技术,是Skywalking使用的技术,是一份十分重要的技术。 课程的稀缺性在此之前,市面上并没有针对Java Agent进行系统介绍的课程。 通过搜索引擎查找,会发现与Java Agent相关的内容大多是个人知识总结分享的内容。这些内容有如下特点:内容质量不一详略程度不一学习难度千差万别总体上来说,学习者很难有一个整体认知、系统学习的过程。 课程的设计目标 在构思课程内容时,本课程带有以下目标:课程学习梯度:从简单到复杂,让学习者有一个循序渐进的理解过程。构造完整、统一的知识体系:不是零散的知识点堆砌,而是有一个统一的贯穿始终的知识框架。具有可操作性的代码示例,不只是讲概念,更注意于实践。课程内容安排 本课程通过四章内容对Java Agent相关知识进行讲解:第一章,介绍Agent Jar的三个组成部分:Manifest、Agent Class和ClassFileTransformer。第二章,介绍Agent Jar的两种启动方式:从命令行启动和使用Attach机制启动。第三章,介绍如何利用Instrumentation API来实现Agent Jar的功能。第四章,Java Agent的应用与技巧。 通过本课程的学习,让同学们更好地建立起一个完整的知识体系:  讲师介绍我叫刘森,南京师范大学研究生毕业,2015年获得信息系统项目管理师(高级),2014年获得系统集成项目管理工程师(中级)。 目前,我的课程都是围绕着“Java字节码”技术展开: 《Java Agent基础篇》是在一个运行JVM当中提供修改字节码的机会《Java ASM系列》(免费课程)是一个操作字节码的类库《Java 8 ClassFile》专注于字节码的理论知识,入选为“51CTO数字化人才证书项目认证课程” 因此,我对字节码技术有较为深入的研究和理解,大家想学习字节码的技术可以找我:字节码技术找刘森,轻松学习又省心~~~ 

81,090

社区成员

发帖
与我相关
我的任务
社区描述
Java Web 开发
社区管理员
  • Web 开发社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧