双11狂欢大促

盲盒赢 定制羽绒服

开启惊喜盲盒，抽取你的专属好礼

— 惊喜奖品抢先看 —

超级年卡50元券

周边70元券

手机支架

一拖三数据线

雨伞

运动毛巾

电动牙刷

VIP月卡

机械键盘

定制羽绒服

超级年卡50元券

周边70元券

手机支架

一拖三数据线

雨伞

运动毛巾

电动牙刷

VIP月卡

机械键盘

定制羽绒服

应用如何自动获取网页数据？

2009-04-13 11:53:11 1.6k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

adiao713 墨衍会员 · AI 创作全网分发关注 + 加入社区

chatgpt赋能python：Python数据提取：让数据获取变得更容易本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。阅读详情

急求！

1、要自动获取网站网页某部分每天更新的数据；

2、而且可以进一步进入这些更新的数据的链接，获取进入链接页面的数据。

目前比较主流的方法是怎么样获取的。

请各位同行和前辈指点迷津！谢谢。

...全文

eCognition易康面向对象分类批量选择样本，批量导出shp 可以的，使用这个工具条最右边那个三角尺manual editing toolbar，这是用来直接指定类别的，咱们可以拿它选完以后把指定的类别转成训练样本。另一个好处是，这个选出来的样本可以直接导出成shp，但select sample是不可以的，只能导出TTAMask也就是栅格掩膜。如果要导出shp，要在转之前导出。中间那条有点点的红线就是我的鼠标轨迹，只要碰到的对象就会全部选中，然后一点3的那个按钮就直接全部划分为林地了，十分丝滑。在弹出来的工作条里，首先选择你的类别，比如这里选一个forest。阅读详情

adiao713

Web 开发 81,108 成员 341,721 内容

+ 关注 + 加入社区

切换为时间正序

anny120 2011-02-17

打赏
举报

我也要写这个

Epiphone 2009-04-13

打赏
举报

可以写个定时任务然后执行下面代码
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import com.yao.http.HttpRequester;
import com.yao.http.HttpRespons;

/**
* JAVA中使用Htmlparse解析HTML文档，使用htmlparse遍历出HTML文档的所有超链接（ <a>标记）。
*
* @author YYmmiinngg
*/
public class Test {
public static void main(String[] args) {
try {
/* 首先我们先使用HttpRequester类和HttpRespons类获得一个HTTP请求中的数据（HTML文档）。可以从(http://download.csdn.net/source/321516)中下载htmlloader，该库中有上述类；或从我的《JAVA发送HTTP请求，返回HTTP响应内容，实例及应用》一文中摘取上述两JAVA类的代码。htmlparse可以从(http://download.csdn.net/source/321507)中下载
*/
Map <String, String> map = new HashMap <String, String>();
HttpRequester request = new HttpRequester();
HttpRespons hr = request.sendGet("http://news.baidu.com");

Parser parser = Parser.createParser(hr.getContent(), hr
.getContentEncoding());
try {
// 通过过滤器过滤出 <A>标签
NodeList nodeList = parser
.extractAllNodesThatMatch(new NodeFilter() {
//实现该方法,用以过滤标签
public boolean accept(Node node) {
if (node instanceof LinkTag)// <A>标记
return true;
return false;
}
});
// 打印
for (int i = 0; i < nodeList.size(); i++) {
LinkTag n = (LinkTag) nodeList.elementAt(i);
System.out.print(n.getStringText() + " ==>> ");
System.out.println(n.extractLink());
}
} catch (Exception e) {
e.printStackTrace();
}

} catch (Exception e) {
e.printStackTrace();
}
}
}

=============================================================================
健康 ==>> /n?cmd=1&class=healthnews&pn=1&from=tab
科技 ==>> /n?cmd=1&class=technnews&pn=1&from=tab
社会 ==>> /n?cmd=1&class=socianews&pn=1&from=tab
有你更有力量—2009年中央电视台3•15晚会 ==>> http://finance.cctv.com/special/20090315/01/index.shtml
<img src='http://eiv.baidu.com/mc_files/20090310/20090310173139_40437500T1T396856.jpg' width=185 height=23 border=0> ==>> http://ma.baidu.com/ma/rcv/click.php?t=uv-b5HDhTv-b5Hc1PW64FMIGujYknHR1n16hpv-b5HDhULKET1YkFhu85yF9pywdgvD4nzudThsqpZwYTaR1fiRzwBRzwhGdpyP-QMPGUhD8mvqVQhP8FHFAnW0srNt1nHR-nbmhTv3qrHnhT1d-n1TsnWR1n1n4rAN9rjfsFMFsULnqniubIjd8iAnkRj7WHZFJRWP8Ts
<font color="#BB2A31">人民日报：在思想认识上取得新提高 </font> ==>> /n?cmd=2&class=top&page=%68%74%74%70%3a%2f%2f%63%63%6e%65%77%73%2e%70%65%6f%70%6c%65%2e%63%6f%6d%2e%63%6e%2f%47%42%2f%31%34%31%36%37%37%2f%38%37%34%37%33%2f%31%34%38%39%35%32%2f%31%34%39%31%33%33%2f%38%39%37%37%37%33%31%2e%68%74%6d%6c&cls=top
市公安机关部署深入学习实践科学发展观活动 ==>> http://www.dahuawang.com/localnews/showlocal.asp?no=116310
汕头海事局开展学习实践科学发展观活动 ==>> http://www.dahuawang.com/localnews/showlocal.asp?no=116308

bowlongcn 2009-04-13

打赏
举报

HttpClient+HtmlParser+正则表达式可以解决你的问题。
当然还有其他方法。不过这个是最常用的

JJTwo 2009-04-13

打赏
举报

網路爬蟲！沒做過！

貌似有些簡單的開源的！

可以先照著瞭解下！

adiao713 2009-04-13

打赏
举报

谢谢各位及时的回答！结贴加分！

xlyyc 2009-04-13

打赏
举报

LS正解，偶也写过好几个这样的东西了

✦双11狂欢大促✦

应用如何自动获取网页数据？

相关推荐

双11狂欢大促