社区
Web 开发
帖子详情
应用如何自动获取网页数据?
adiao713
2009-04-13 11:53:11
急求!
1、要自动获取网站网页某部分每天更新的数据;
2、而且可以进一步进入这些更新的数据的链接,获取进入链接页面的数据。
目前比较主流的方法是怎么样获取的。
请各位同行和前辈指点迷津!谢谢。
...全文
1563
6
打赏
收藏
应用如何自动获取网页数据?
急求! 1、要自动获取网站网页某部分每天更新的数据; 2、而且可以进一步进入这些更新的数据的链接,获取进入链接页面的数据。 目前比较主流的方法是怎么样获取的。 请各位同行和前辈指点迷津!谢谢。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
anny120
2011-02-17
打赏
举报
回复
我也要写这个
Epiphone
2009-04-13
打赏
举报
回复
可以写个定时任务 然后执行下面代码
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import com.yao.http.HttpRequester;
import com.yao.http.HttpRespons;
/**
* JAVA中使用Htmlparse解析HTML文档,使用htmlparse遍历出HTML文档的所有超链接( <a>标记)。
*
* @author YYmmiinngg
*/
public class Test {
public static void main(String[] args) {
try {
/* 首先我们先使用HttpRequester类和HttpRespons类获得一个HTTP请求中的数据(HTML文档)。 可以从(http://download.csdn.net/source/321516)中下载htmlloader,该库中有上述类;或从我的《JAVA发送HTTP请求,返回HTTP响应内容,实例及应用》一文中摘取上述两JAVA类的代码。htmlparse可以从(http://download.csdn.net/source/321507)中下载
*/
Map <String, String> map = new HashMap <String, String>();
HttpRequester request = new HttpRequester();
HttpRespons hr = request.sendGet("http://news.baidu.com");
Parser parser = Parser.createParser(hr.getContent(), hr
.getContentEncoding());
try {
// 通过过滤器过滤出 <A>标签
NodeList nodeList = parser
.extractAllNodesThatMatch(new NodeFilter() {
//实现该方法,用以过滤标签
public boolean accept(Node node) {
if (node instanceof LinkTag)// <A>标记
return true;
return false;
}
});
// 打印
for (int i = 0; i < nodeList.size(); i++) {
LinkTag n = (LinkTag) nodeList.elementAt(i);
System.out.print(n.getStringText() + " ==>> ");
System.out.println(n.extractLink());
}
} catch (Exception e) {
e.printStackTrace();
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
=============================================================================
健康 ==>> /n?cmd=1&class=healthnews&pn=1&from=tab
科技 ==>> /n?cmd=1&class=technnews&pn=1&from=tab
社会 ==>> /n?cmd=1&class=socianews&pn=1&from=tab
有你更有力量—2009年中央电视台3•15晚会 ==>> http://finance.cctv.com/special/20090315/01/index.shtml
<img src='http://eiv.baidu.com/mc_files/20090310/20090310173139_40437500T1T396856.jpg' width=185 height=23 border=0> ==>> http://ma.baidu.com/ma/rcv/click.php?t=uv-b5HDhTv-b5Hc1PW64FMIGujYknHR1n16hpv-b5HDhULKET1YkFhu85yF9pywdgvD4nzudThsqpZwYTaR1fiRzwBRzwhGdpyP-QMPGUhD8mvqVQhP8FHFAnW0srNt1nHR-nbmhTv3qrHnhT1d-n1TsnWR1n1n4rAN9rjfsFMFsULnqniubIjd8iAnkRj7WHZFJRWP8Ts
<font color="#BB2A31">人民日报:在思想认识上取得新提高 </font> ==>> /n?cmd=2&class=top&page=%68%74%74%70%3a%2f%2f%63%63%6e%65%77%73%2e%70%65%6f%70%6c%65%2e%63%6f%6d%2e%63%6e%2f%47%42%2f%31%34%31%36%37%37%2f%38%37%34%37%33%2f%31%34%38%39%35%32%2f%31%34%39%31%33%33%2f%38%39%37%37%37%33%31%2e%68%74%6d%6c&cls=top
市公安机关部署深入学习实践科学发展观活动 ==>> http://www.dahuawang.com/localnews/showlocal.asp?no=116310
汕头海事局开展学习实践科学发展观活动 ==>> http://www.dahuawang.com/localnews/showlocal.asp?no=116308
bowlongcn
2009-04-13
打赏
举报
回复
HttpClient+HtmlParser+正则表达式 可以解决你的问题。
当然还有其他方法。不过这个是最常用的
JJTwo
2009-04-13
打赏
举报
回复
網路爬蟲!沒做過!
貌似有些簡單的開源的!
可以先照著瞭解下!
adiao713
2009-04-13
打赏
举报
回复
谢谢各位及时的回答!结贴加分!
xlyyc
2009-04-13
打赏
举报
回复
LS正解,偶也写过好几个这样的东西了
Servlet中对
获取
网页
表单
数据
自动
给JavaBean赋值的BeanUtil工具类
Servlet中对
获取
网页
表单
数据
自动
给JavaBean赋值的BeanUtil工具类 Servlet中对
获取
网页
表单
数据
自动
给JavaBean赋值的BeanUtil工具类
java 网络爬虫 正则表达式_Java 正则表达式_网络爬虫
首先 需要了解 一些 关于 网络爬虫的 基本知识:网络爬虫: 所谓的 爬虫 就是一个
应用
程序, 这个
应用
程序 会
获取
网络中的 指定信息(
网页
数据
).例如百度: 启动 这个 爬虫 程序 会
自动
的 将 一些
网页
数据
获取
来 存到 百度的服务器上 提高了 搜索 效率.我们搜索的 时候 , 其实 搜索的 不是 网络中的 内容, 而是 百度中的 内容, 而 百度就将 所有的 互...
powerbi中python网站
数据
_一步一步教你PowerBI利用爬虫
获取
天气
数据
分析
对于爬虫你们应该不会陌生,咱们首先来看一下爬虫的定义:网络爬虫是一种
自动
获取
网页
内容的程序,是搜索引擎的重要组成部分。网络爬虫为搜索引擎从万维网下载
网页
,
自动
获取
网页
内容的
应用
程序。看到定义咱们应该已经知道它是能够从万维网上下载
网页
解析
网页
数据
的。你们想一下在
数据
分析情景中它的
应用
场景有哪些?采集天气
数据
,网站采集文章,采集各类票务信息,股票信息采集等等有不少地方都会用的爬虫采集
数据
进行
数据
分析。...
Excel
自动
获取
网页
数据
利用Excle可以
自动
获取
网页
数据
,譬如从
网页
中
自动
获取
基金净值
数据
,取得所关注基金的净值,列出当日涨幅最高的基金。本文用简单的Web查询结合Excel公式的方法完成上述需求,当然也可以用VBA编写功能更加丰富的
自动
查询
网页
数据
工具。 1. 创建和编辑 Web 查询Excel2003
数据
- 导入外部
数据
-
python 爬取
网页
后展示_如何实现
自动
获取
网页
的
数据
如何用python实现爬虫抓取
网页
时
自动
翻页...
excel如何实现
自动
获取
网页
中的数值
数据
导入外部
数据
新建web
数据
输入数值
网页
说在的网址,然后选择需要导入的表格,就可以了。如需刷新,鼠标右键选择刷新即可。
数据
-导入外部
数据
-新建Web查询 输入
网页
地址,点击“转到”。excel如何从指定网站
自动
获取
数据
,并实时更新?想问下各位大神们,小编该怎么让excel从小编指定网站进行搜索
数据
,并将
获取
没有人会为了你的未来买单,你要么努力向上爬,要么烂...
Web 开发
81,076
社区成员
341,821
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章