如何获取抓取一个网页并保存成本地文件

yst_killed 2005-07-29 04:28:47

linux 下c++ 或c都行

希望给写例子.刚学习...谢谢

...全文

147 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

gradetwo 2005-08-01

打赏
举报

回复

wget
若何用 wget -h有详细说明

shenpipi 2005-07-31

打赏
举报

回复

如果写shell的话,wget很好用啊.

yjf7888 2005-07-30

打赏
举报

回复

socket, http协议的get,参考代码(java)http://www.daima.com.cn/Info/55/Info32682/

ghtsao 2005-07-29

打赏
举报

回复

在LINUX下么，wget http://www.xxx.com, 一招搞定，在SHELL SCRIPT或PEARL里超简单。

这是从 xdisp_virt项目剥离出来的，实现实时的 H264 + AAC 编码音频和视频的 RTSP, RTMP协议推流，以及保存到本地MP4，MKV录像文件。如果要成功编译，需要下载和编译ffmpeg库，libfdk-aac库，x264库。编译这些库，非常耗时。如果懒得去编译，可以直接使用已经编译好的stream_push.dll动态库。 stream_push目录是实现核心推流和保存本地录像工程， demo目录是简单的调用例子，简单实现了抓取屏幕然后推流到RTSP,RTMP服务器，以及保存到本地。 bin目录是已经编译好的二进制文件. 有兴趣可查看BLOG: https://blog.csdn.net/fanxiushu/article/details/80996391

首先，您需要使用 Python 的第三方库来爬取网页，例如 requests 库或 urllib 库。具体来说，您可以使用这些库发送 HTTP 请求并获取响应内容。然后，您可以使用 HTML 解析库，例如 BeautifulSoup 库，来解析网页的 HTML 代码。这样，您就可以使用 Python 代码来访问网页中的所有链接。最后，您可以使用 Python 的文件操作函数来保存 HTML 文...

学习利用抓取股票信息

我们在前面讲到httpclient抓取网页内容的时候通常都是获取到页面的源代码content存入数据库。详见下文:HTTPClient模块的HttpGet和HttpPosthttpclient常用基本抓取类那么如果我们除了获得页面源代码之外还想把页面保存到本地存成html应该怎么做呢？其实很简单我们先来看访问页面获取content的代码private static String getUrl...

上一篇博客讲了Linux抓取网页的方式，有curl和wget两种方式，这篇将重点讲Linux抓取网页的实例——抓取google play全球12国的游戏TOP排名要抓取google play游戏排名网页，首先需要分析网页的特点和规律：1、google play游戏排名网页，是一个就“总-分”形式，即一页网址显示若干排名（如24个），有若干个这样的网页组成全部游戏的总排名2、每页网址中，点击每个单独

Linux/Unix社区

23,125

社区成员

74,509

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章