通过java获取网页的源代码.如360急速浏览器中的右键->审查元素

[bored_zhang]

获取网页下所有显示的源代码.但是有些是通过js的function在页面加载时得到的.
现在就是要连function做完之后显示到页面上的内容也要获取到. 360急速浏览器中的审查元素功能可以得到.
用java的话有没有什么方法呢? 在线等. ! 有不清楚我说什么的可以问.!

[shine333]

你的java是httpclient/urlconnection之类的爬虫，还是java写的浏览器。
前者肯定不行，后者的话也十分困难

[bored_zhang]

啊？ 我就是要前者!

[shine333]

没办法的。
JS方面，虽然现在已经有java的js引擎，但是，那个可以说“基本上只能做数学计算”，和DOM相关（也就是html中的对象树）操作没法弄。
DOM方面，DOM的内容和html（甚至iframe/frameset相关的其他html），内嵌和外部的js/css，甚至是图片资源、用户cookie，浏览器设置等相关。虽然现在有html parser或者正则表达式，但那只是用来做简单的静态内容分析（指html/jsp/php的http entity)。

所以，真的想做，实在太难，无异于写一款java版的浏览器。

[bored_zhang]

这么复杂啊.! 看来没办法做了. 你用过360的那个急速浏览器么? 有个审查元素就可以看到.
不知道是怎么弄的'

[shine333]

人家是浏览器，当然需要处理我上面说的所有事情。360没玩过，不过I/F/C/S/O，5大浏览器都有此功能。

[softroad]

   public static void connect() throws Exception {
      String url = "http://www.baidu.com";
      HttpURLConnection conn = (HttpURLConnection) new URL(url).openConnection();
      String charset = "UTF-8";
      conn.setRequestMethod("GET");
      conn.setDoInput(true);
      conn.setDoOutput(true);
      conn.setConnectTimeout(1000 * 30);
      conn.setReadTimeout(1000 * 60);
      conn.setAllowUserInteraction(true);
      conn.setInstanceFollowRedirects(true);
      conn.setRequestProperty("Content-Type", "text/html; charset=" + charset);

      InputStream in = conn.getInputStream();
      BufferedReader reader = 
         new BufferedReader(new InputStreamReader(in, charset));
      StringBuffer html = new StringBuffer();
      String line = null;

      while((line = reader.readLine()) != null) {
         html.append(line + "\n");
      }

      in.close();

      System.err.println(html);
   }

[softroad]

js生成的dom还不知道怎么抓呢。

[lsq10]

请问楼主现在又解决方法了吗？求~

[村中少年]

楼主的问题解决了吗？求交流，就指导啊。