网页爬虫如何能够保存下网页里面内容的格式

wsygzyr 2015-11-17 10:27:42

求教，在写一个抓取内容的爬虫，用的jsoap取网页的内容，有一个问题，jsoap取出来的text数据，是不带任何格式信息的，例如一个排版好的网页，里面的正文部分用了很多的CSS标签或者<br>这些来进行格式排版，如何能做到取到的内容带有排版信息？

不要求带颜色这些，只要能做到像在网页里面拷贝，在notepad里面粘贴能够保存段落格式那样就行了。

...全文

579 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

蜗牛彪 2015-11-18

打赏
举报

回复

把网页引入的css文件也下载下来，正文部分不应该有太多css样式吧

slwsss 2015-11-17

打赏
举报

回复

爬虫没那么强大

简介：本文将详细介绍如何使用Python编写一个简易的网页爬虫，实现爬取指定网页内容并保存到本地文件的功能。通过本教程，您将学习到网页爬虫的基本原理、Python网络请求库的使用以及文件操作等关键知识，帮助您快速上手网页爬虫开发。它通过模拟浏览器发送网络请求，获取网页的HTML代码，然后解析并提取所需的信息。通过本教程的学习和实践，您将能够编写出简单而实用的网页爬虫程序，为您的数据抓取和分析工作提供便利。），然后在命令行中运行该文件，传入要爬取的网页URL和保存内容的本地文件名作为参数。

嘿，朋友！欢迎来到Python的奇妙世界。Python是一种高级编程语言，就像一位博学多才的老教授，既懂得科学计算，又会搞艺术创作。无论你是要分析数据、编写网页爬虫，还是开发游戏，Python都能轻松应对。它的语法简洁明了，就像一首优美的诗歌，让人读起来心情愉悦。网页爬虫，听起来是不是有点像科幻电影里的机器人？其实，它就是一种自动化程序，能够像一只勤劳的小蜜蜂一样，在互联网的花丛中采集数据。通过编写网页爬虫，你可以抓取网页上的各种信息，比如新闻标题、商品价格、图片链接等。

这边有一个用来测试的网站点击跳转简单的网页爬虫requests的使用使用requests获取网页的源代码requests与正则结合多线爬虫多进程库开发多线程爬虫爬虫算法的开发深度优先搜索广度优先搜索算法的选择小测试 requests的使用 requests是Python的一个第三方HTTP（Hypertext Transfer Protocol，超文本传输协议）库，它比Python自带的网络库urllib更加简单、方便和人性化。使用requests可以让Python实现访问网页并获取源代码的功能。 ..

简单来说，爬虫是一种自动化程序，专门用来获取网页信息，再对信息进行提取和保存。下面为你简单介绍一下：（1）获取网页爬虫要做的第一件事，就是获取网页，确切地说是获取网页的源代码。因为源代码里包含着网页的一些有用信息，拿到源代码后，就能从中提取出我们需要的信息。之前我们讲过请求和响应的概念，向网站服务器发送请求，服务器返回的响应体就是网页的源代码。这里的关键，是要构造好请求，发送给服务器，然后接收响应并进行解析。

造成这个现象的原因是豆瓣电视剧网页中的电视剧列表的部分是动态加载的，所以我们用 urllib3 去直接下载，只能下载到一个壳网页，没有里面的列表内容。对于煎蛋这类普通网页，urllib3 可以表现更好，但是有一种类型的网页，它的数据是动态加载的，就是先出现网页，然后延迟加载的数据，那 urllib3 可能就有点力不从心了。动态网页应该怎么抓取呢？执行上述代码，可以看到打印出了非常多的内容，而且很像我们第一部分手动保存的网页，这说明目前 html_content 变量中保存的就是我们要下载的网页内容。

61,124

社区成员

60,705

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章