如何抓取网页的内容？

hemu1190 2008-03-04 07:39:46

一朋友委托我给他从一个网站上抓取些东西下来，请问各位高人，谁能帮忙指导一下。使用什么技术？或者有可下载的软件吗？

...全文

64 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

雨过白鹭洲 2008-03-04

打赏
举报

回复

倒，有软件啦！

Wolf0403 2008-03-04

打赏
举报

回复

wget -r

abupie 2008-03-04

打赏
举报

回复

linux下用wget，如果需求比较高级，可以用curl写程序，或者自己写socket发HTTP请求。
windows直接用各种下载工具就好了。或者用winsock发HTTP请求。

ynu20061120045 2008-03-04

打赏
举报

回复

复制粘贴到ＷＯＲＤ

本文将详细讨论如何使用Java语言来抓取网页数据，包括两种主要方法：直接抓取原网页内容和处理网页中的JavaScript返回数据。首先，让我们探讨**抓取原网页**的方法。在Java中，我们可以使用`java.net.URL`类来建立...

爬虫，也称为网络爬虫或蜘蛛，是一种自动浏览互联网并抓取网页内容的程序。它按照一定的规则（如链接）遍历网站，收集信息，并将其存储在数据库中，以便进一步处理和分析。Java作为一门强大的编程语言，常用于开发...

HTTP是互联网上应用最广泛的数据通信协议，爬虫通过发送GET或POST请求来获取网页内容。在源码中，你可能会看到`HttpURLConnection`或`HttpClient`类的使用，这些都是Java提供的用于处理HTTP请求的API。信息抓取的...

如何解决php网页抓取乱码问题?

我们在之前学习过python爬虫的知识，很多小伙伴在学习了爬虫之后都能够使用它去抓取一些网页上的数据了，但是对于一个网站的爬取还是有些问题存在的，所以这一篇文章将会以实际的代码示例来介绍Python爬虫如何实现...

65,187

社区成员

250,526

社区内容

发帖

与我相关

我的任务

c++ 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

请不要发布与C++技术无关的贴子
请不要发布与技术无关的招聘、广告的帖子
请尽可能的描述清楚你的问题，如果涉及到代码请尽可能的格式化一下

试试用AI创作助手写篇文章吧

+ 用AI写文章