如何抓取网页的内容？

hemu1190 2008-03-04 07:39:46
一朋友委托我给他从一个网站上抓取些东西下来，请问各位高人，谁能帮忙指导一下。使用什么技术？或者有可下载的软件吗？
...全文
85 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
雨过白鹭洲 2008-03-04
  • 打赏
  • 举报
 回复
倒，有软件啦！
Wolf0403 2008-03-04
  • 打赏
  • 举报
 回复
wget -r
abupie 2008-03-04
  • 打赏
  • 举报
 回复
linux下用wget，如果需求比较高级，可以用curl写程序，或者自己写socket发HTTP请求。
windows直接用各种下载工具就好了。或者用winsock发HTTP请求。
ynu20061120045 2008-03-04
  • 打赏
  • 举报
 回复
复制 粘贴到ＷＯＲＤ
网页内容抓取工具详解
本文详细介绍网页内容抓取工具，涵盖HTML文件抓取技术、CSS样式分析方法、工具功能、版权遵守等内容。还阐述了工具在网站备份、分析等领域的应用，最后总结现状与挑战，展望未来AI与机器学习应用及发展方向。
Java实现基础网页内容抓取教程
本文介绍了使用Java进行网页内容抓取的方法。涵盖网页抓取基础原理，使用Java发送HTTP请求，用Jsoup解析HTML内容及处理异常，还讲述了异步与多线程抓取、模拟登录与处理动态内容，最后强调遵守Robots协议和应对反爬策略以维护合法高效的抓取行为。
使用Crawler实例进行网页内容抓取
随着互联网发展，网页内容抓取技术可自动化获取网页信息。Crawler实例是核心组件，能发送请求、解析HTML等。Symfony DomCrawler是不错的抓取库，文中给出使用示例代码及解释。同时提醒抓取时要遵守协议、设置频率、处理异常和清洗数据。
python抓取网页内容
本文介绍如何使用Python编程语言，通过分析网页源码，自动抓取奥巴马每周的演讲内容，简化了手动提取的过程。
python网页抓取实例-Python简单实现网页内容抓取功能示例
本文介绍了Python使用urllib2模块进行网页内容抓取的方法，包括普通抓取和GET请求方式，通过创建request对象，发送请求并处理响应，实现对网页内容的获取和状态码检查。
C++ 语言

65,211

社区成员

250,516

社区内容

发帖
与我相关
我的任务
社区描述
C++ 语言相关问题讨论，技术干货分享，前沿动态等
c++ 技术论坛（原bbs）
社区管理员
  • C++ 语言社区
  • encoderlee
  • paschen
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
  1. 请不要发布与C++技术无关的贴子
  2. 请不要发布与技术无关的招聘、广告的帖子
  3. 请尽可能的描述清楚你的问题，如果涉及到代码请尽可能的格式化一下

试试用AI创作助手写篇文章吧

+ 用AI写文章