JSP或Java调用Httpclient抓取网页,如何判断抓取完毕?

rcrain 2009-12-25 11:37:28
JSP调用Httpclient抓取网页(以javabean方式),如何判断抓取完毕?
或者在Java里调用Httpclient抓取网页,如何判断抓取完毕?
请大家帮忙。谢谢!
...全文
156 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
999朵玫瑰 2009-12-26
  • 打赏
  • 举报
回复
Httpclient
crazylaa 2009-12-26
  • 打赏
  • 举报
回复
代码在这里,自己看:


package test;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;

public class TestURLReader {
/**
* @param args
*/
public static void main(String[] args) {
BufferedWriter bw = null;
try {
int i=0;
File f = new File("F:/test" + i + ".html");
URL url = new URL("http://www.baidu.cn");
BufferedReader buf = new BufferedReader(new InputStreamReader(
url.openStream()));

String str;
String all = "";
bw = new BufferedWriter(new FileWriter(f, false));

while ((str = buf.readLine()) != null) {
all += str;
}
bw.write(all.toString());
bw.close();

} catch (Exception e1) {
e1.printStackTrace();
} finally {
try {
bw.close();
} catch (IOException e) {
e.printStackTrace();
}
System.exit(0);
}
}
}

  • 打赏
  • 举报
回复
把流读完了,就算结束了呗

62,621

社区成员

发帖
与我相关
我的任务
社区描述
Java 2 Standard Edition
社区管理员
  • Java SE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧