java 爬网程序示例下载

weixin_39820535 2019-07-19 03:30:30

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.HttpURLConnection;
import java.net.URL;

public class GetNetHtml {

public static String createhttpClient(String url, String param) {
HttpClient client = new HttpCl
相关下载链接：//download.csdn.net/download/clbxp/3450609?utm_source=bbsseo

...全文

14 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

import java.io.BufferedReader; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.net.HttpURLConnection; import java.net.URL; public class GetNetHtml { public static String createhttpClient(String url, String param) { HttpClient client = new HttpClient(); String response = null; String keyword = null; PostMethod postMethod = new PostMethod(url); // try { // if (param != null) // keyword = new String(param.getBytes("gb2312"), "ISO-8859-1"); // } catch (UnsupportedEncodingException e1) { // // TODO Auto-generated catch block // e1.printStackTrace(); // } // NameValuePair[] data = { new NameValuePair("keyword", keyword) }; // // 将表单的值放入postMethod中 // postMethod.setRequestBody(data); // 以上部分是带参数抓取,我自己把它注销了．大家可以把注销消掉研究下 try { int statusCode = client.executeMethod(postMethod); response = new String(postMethod.getResponseBodyAsString() .getBytes("ISO-8859-1"), "gb2312");//这里要注意下 gb2312要和你抓取网页的编码要一样 String p = response.replaceAll("\\&[a-zA-Z]{1,10};", "") .replaceAll("<[^>]*>", "");//去掉网页中带有html语言的标签 System.out.println(p); } catch (Exception e) { e.printStackTrace(); } return response; } // 第二种方法 // 这种方法是JAVA自带的URL来抓取网站内容 public String getPageContent(String strUrl, String strPostRequest, int maxLength) { // 读取结果网页 StringBuffer buffer = new StringBuffer(); System.setProperty("sun.net.client.defaultConnectTimeout", "5000"); System.setProperty("sun.net.client.defaultReadTimeout", "5000"); try { URL newUrl = new URL(strUrl); HttpURLConnection hConnect = (HttpURLConnection) newUrl .openConnection(); // POST方式的额外数据 if (strPostRequest.length() > 0) { hConnect.setDoOutput(true); OutputStreamWriter out = new OutputStreamWriter(hConnect .getOutputStream()); out.write(strPostRequest); out.flush(); out.close(); } /*部分删节，请下载细看！！*/ public static void main(String[] args) { String url = "http://www.liuzm.com"; String keyword = "刘志猛博客"; GetNetHtml p = new GetNetHtml(); String response = p.createhttpClient(url, keyword); // 第一种方法 // p.getPageContent(url, "post", 100500);//第二种方法 } }

java原始网络爬虫蜘蛛4j Spider4j是从webmagic for Java扩展而来的开源Web爬网程序，它提供了用于爬网Web的简单界面。使用它，您可以在几分钟内设置多线程Web搜寻器。

＃Web-crawler＃简单的库，允许编写单线程Web搜寻器。查看src / Demo1和src / Demo2的使用示例。

java原始网络爬虫Serritor Serritor是一个基于Java并用Java编写的开源Web爬网程序框架。它可用于对需要JavaScript呈现数据的动态网页进行爬网。在构建中使用Serritor 玛文将以下依赖项添加到pom.xml中： < dependency > < groupId >com.github.peterbencze</ groupId > < artifactId >serritor</ artifactId > < version >2.1.1</ version > </ dependency > Gradle 将以下依赖项添加到您的build.gradle中： compile group : ' com.github.peterbencze ' , name : ' serritor ' , version : ' 2.1.1 ' 手动依赖页面上提供了独立的JAR文件。文献资料包含用法信息和示例 Javadoc可用快速开始 Crawler抽象类提供了爬虫的基本实现，以最大程度地减少创建自己的爬虫的工作。扩展类应实现搜寻器的逻辑。在下面

java原始网络爬虫毒液您首选的面向Deep Web的开源重点爬网程序。概述我们的目标是创建一种简单易用的快速，完全可定制且强大的爬虫。快速链接 | | | | | 特征开箱即用的多线程通过JSoup集成进行结构化爬网页面验证自动重试代理支持自动保存原始HTML页面入门 Venom入门快速简便。有两种入门方法。克隆我们的示例或教程如果您是从一个新项目开始，则可以考虑克隆我们的： git clone https://github.com/PreferredAI/venom-examples.git 或者，如果您需要更多指导性的套餐，则可以查看我们的： git clone https://github.com/PreferredAI/venom-tutorial.git 添加依赖项如果您已经有一个项目，则只需将Venom添加为对pom.xml的依赖项： < dependency >  < groupId >ai

下载资源悬赏专区

13,654

社区成员

12,574,373

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章