我想对BBS论坛类型的网页进行数据爬取,试了几种方式,可是源码就是不完整,求教大神问题出在哪里

AlvisEx 2017-05-07 08:06:24
这是我的源码:


public class HttpClient {
public static String get(String pageUrl,String charSet){
try{
URL url=new URL(pageUrl);
HttpURLConnection conn=(HttpURLConnection)url.openConnection();
conn.setRequestMethod("Get");
conn.connect();
if(conn.getResponseCode()==404){
return null;
}
BufferedReader reader=new BufferedReader(new InputStreamReader(conn.getInputStream(),charSet));
String line = null;
StringBuilder sb=new StringBuilder();
while ((line = reader.readLine()) != null){
sb.append(line);
}
return sb.toString();
}catch (Exception e){
e.printStackTrace();
}
return null;
}

}

public static void main(String[] args) {
String html=HttpClient.get("http://cxytiandi.com/course/2", "utf-8");
System.out.println(html);
}

...全文
214 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

24,923

社区成员

发帖
与我相关
我的任务
社区描述
Web 开发 Apache
社区管理员
  • Apache
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧