Java如何获取网页连接中所有的url请求

[小敏纸]

用Java能获取一次网页连接中所有的URL连接请求吗？就像火狐的firebug插件一样，打开一个网页，就能显示很多这次连接的URL请求（抓包），例如：



java有网络API能实现这样的功能吗？我试了用jpcap抓包实现，结果没成，不知道还有没有其他方法？

[小敏纸]

自己先顶下，难道没人知道？

[失落夏天]

首先，网页上能抓的只是连接而已，而不是发送的包。 如果只抓取连接，正则很轻松可以办到。 抓取发送包并不是通过网页来抓取的。抓取的对象应该是发送和接受的这一个过程。 这个截取请求连接内容，抓取？之后的数据也可以办到。 至于全部发送包的内容，这个就得专门写一个抓包器了。

[小敏纸]

不需要抓包内容，只需要所有请求的url地址，有的地址在页面源代码找不到，所以希望抓包获取，不知道行不行？

[失落夏天]

引用 3 楼 lanxuezaipiao 的回复:

不需要抓包内容，只需要所有请求的url地址，有的地址在页面源代码找不到，所以希望抓包获取，不知道行不行？

你觉得获取那个请求的是浏览器服务器，还是一个静态页面呢？ 所以你单纯的通过一个页面获取url，可行么？ 可以在服务端接受url请求来做出判断截取。

[小敏纸]

哎，HttpURLConnection我早就试过了，这个是在页面源代码里提取到的url，但有的url并不能在页面源代码里找到，例如https://passport.csdn.net/account/forgotpassword这个网址，获取验证码的网址https://passport.csdn.net/ajax/verifyhandler.ashx?r=0.13282176999312478或不带参数的网址https://passport.csdn.net/ajax/verifyhandler.ashx就不能得到，而我就需要得到这样的url，这到底怎么获取啊？？？

[花谢尊前不敢香]

用httpurlconnection获取

[小敏纸]

如何在服务端接受url呢？编程上如何实现呢？哎哎

[花谢尊前不敢香]

好吧，代码

public static void main(String[] args) throws Exception {
		URL url = new URL("你要访问的url");
		HttpURLConnection conn = (HttpURLConnection) url.openConnection();
		InputStream is = conn.getInputStream();
		BufferedInputStream bis = new BufferedInputStream(is);
		InputStreamReader isr = new InputStreamReader(bis, "gbk");//根据实际情况改编码
		BufferedReader br = new BufferedReader(isr);
		String line = null;
		while ((line = br.readLine()) != null) {
			if(line.contains("href=\"")){
				System.out.println(line);
			}
		}
		br.close();
		isr.close();
		bis.close();
		is.close();
		conn.disconnect();
	}

[siyang501]

建议你看一下jsoup,可以很轻松的实现

[fenghui14]

用php怎么实现 求解答！！！！！！！！！！！！！

[smil_e]

大姐你有实现不？贴出来共享下啊。。

[wwy904926403]

我也想知道。。。。

[sj453032759]

同求。。。。

[愚风]

通过conn.header("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows XP; DigExt").模拟浏览器，获取网页url后调用conn.get()方法，亦或conn.get().select("a[href").attr("href");即可获取所有页面url

[beauty462524021]

您好，不知道您这个问题解决了没有，我现在也碰到了同样的难题。求赐教！谢谢