网页爬虫代码的一步一步书写和讲解

Java架构师Array 2023-01-12 22:50:52

课时名称	课时知识点
网页爬虫代码的一步一步书写和讲解

...全文

280 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

个人公众号 yk 坤帝在后台回复第一关获取整理资料第 1 关、HTML基础 1、HTML 是什么 HTML（Hyper Text Markup Language）是用来描述网页的一种语言，也叫超文本标记语言。 1-1、查看网页的 HTML 代码 ①、显示网页源代码在网页任意地方点击鼠标右键，然后点击“显示网页源代码”。（Windows系统的电脑还可以使用快捷键ctrl+u来查看网页源代码） ②、检查 windows：在网页的空白处点击右键，然后选择“检查”（快捷方式是ctrl+shift+i）

上一关，我们了解了浏览器的工作原理。延伸到爬虫的工作原理。接着，我们还学习了requests模块，知道可以使用requests.get() 来获取url的数据：最后，也知道了Response对象的四个属性，并成功把网上的图片和电子书下载并保存到本地。由此，爬虫的第0步：获取数据，就搞定了。HTML是用来描述网页的一种语言，英文全称是Hyper Text Markup Language，也叫超文本标记语言。等等，你问什么是标记语言？

简单来说，爬虫就是获取网页并提取和保存信息的自动化程序，爬虫能够自动请求网页，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息进行存储使用。为什么用Python做爬虫首先您应该明确，不止 Python 这一种语言可以做爬虫，诸如 Java、C/C++、PHP 都可以用来写爬虫程序，但是相比较而言 Python 做爬虫是最简单的。下面对它们的优劣势做简单对比：Java 也经常用来写爬虫程序，但是 Java 语言本身很笨重，代码量很大，因此它对于初学者而言，入门的门槛较高。

大数据采集：通过爬虫获取特定行业（如汽车行业）股票的基本信息，并获取单只股票的历史行情数据。大数据存储：根据自定义的时间间隔定时获取涨幅前60名股票的实时行情数据，并存储在数据库中。大数据分析：计算股票的月涨跌幅，对股票进行相关性分析，并预测股票行情的未来走势。

很多人把技术都放在了一个比较高的位置，但是技术真的只是达成目标的一种手段，完全不懂编程，不想写代码，能不能实现爬虫程序呢？答案当然是可以。网址为： https://www.webscraper.io/，.

Java架构师Array的课程社区_NO_1

1

社区成员

164

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章