java抓取动态页面数据，js处理的请求做了安全限制，使用jsoup或HttpURLConnection 都获取不到数据

[qq_17173173]

String url = "https://www.aicoin.cn/news/all";
Response res = Jsoup.connect(url).header("Accept", "*/*").header("Accept-Encoding",
"gzip, deflate").header("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3").header(
"Content-Type", "application/json;charset=UTF-8").header("User-Agent",
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0").timeout(
10000).ignoreContentType(true).execute();

String body = res.body();
System.out.println(body);

或是
URL url2 = new URL(url);

URLConnection connection = url2.openConnection();

connection.setConnectTimeout(1000);

reader = new InputStreamReader(connection.getInputStream(), "UTF-8");

in = new BufferedReader(reader);

String line = null; // 每行内容

StringBuffer content = new StringBuffer();

while ((line = in.readLine()) != null)
{

content.append(line);

}

[tianfang]

使用java 调用 Selenium WebDriver

https://blog.csdn.net/a542551042/article/details/45872265

[qq_17173173]

我也是这个思路，不过之后我使用了casperjs，直接模拟登录，返回需要采集的信息，最后用Jsoup解析。你的方法试过了，但是有点复杂，没成功，不过我也是通过你的思路才想到的使用casperjs的。谢谢。