在使用Java抓取网页源码时一些数据丢失

[trytheworld]

今天试着写个简单的爬虫，准备玩玩的但是抓取后发现里面的一些数据在网页被抓取的源码中没有，怎么是怎么回事呢？应该怎么解决呢？感谢各位

[trytheworld]

引用 1 楼 dgqjava 的回复:

这些应该是ajax异步抓取的 你要看看异步的请求

那我应该怎么抓取呢？请详细点呢

[trytheworld]

引用 2 楼 yewuqing007 的回复:

里面还有请求

请详细点怎么处理呢？我不怎么会

[dgqjava]

引用 3 楼 weixin_34598008 的回复:

[quote=引用 1 楼 dgqjava 的回复:] 这些应该是ajax异步抓取的 你要看看异步的请求

那我应该怎么抓取呢？请详细点呢[/quote] 用浏览器抓包查看他页面加载成功后发送了什么异步请求获取的数据, 你再用java发送这个请求就可以了

[trytheworld]

引用 5 楼 dgqjava 的回复:

[quote=引用 3 楼 weixin_34598008 的回复:]
[quote=引用 1 楼 dgqjava 的回复:]
这些应该是ajax异步抓取的 你要看看异步的请求

那我应该怎么抓取呢？请详细点呢[/quote]
用浏览器抓包查看他页面加载成功后发送了什么异步请求获取的数据, 你再用java发送这个请求就可以了[/quote]
我看了下控制台发送的请求太多了，不好查看，有没有啥好方法缩小下范围，比如抓取东方财富某个股显示的股价，怎么去定位它发送的这个请求呢？

[dgqjava]

引用 6 楼 weixin_34598008 的回复:

[quote=引用 5 楼 dgqjava 的回复:] [quote=引用 3 楼 weixin_34598008 的回复:] [quote=引用 1 楼 dgqjava 的回复:] 这些应该是ajax异步抓取的 你要看看异步的请求

那我应该怎么抓取呢？请详细点呢[/quote] 用浏览器抓包查看他页面加载成功后发送了什么异步请求获取的数据, 你再用java发送这个请求就可以了[/quote] 我看了下控制台发送的请求太多了，不好查看，有没有啥好方法缩小下范围，比如抓取东方财富某个股显示的股价，怎么去定位它发送的这个请求呢？[/quote] chrome你们xhr就是异步请求 可以按分类过滤

[dgqjava]

这些应该是ajax异步抓取的 你要看看异步的请求

[devin_jia]

里面还有请求