python 爬虫求助 SSL

热心市民小郑（llm版） 2018-12-31 10:07:18

用urlopen爬虫时有如下错误
URLError: <urlopen error [SSL: UNKNOWN_PROTOCOL] unknown protocol (_ssl.c:748)>

看到另一个帖子 https://blog.csdn.net/u013378502/article/details/38350281
可是查不到详尽的解决过程

想请问各位大牛在windows下怎么更改ssl版本号或者更改端口

...全文

992 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

梦想橡皮擦 2019-01-09

打赏
举报

回复

去研究一下如何忽略SSL证书即可

Mr.Zheng~_ 2019-01-05

打赏
举报

回复

请求的时候加上一个参数 "verify=false"~_

如题今天在爬虫的时候遇到这个报错 HTTPSConnectionPool(host='store.steampowered.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: TLSV1_ALERT_DECODE_ERROR] tlsv1 alert decode error (_ssl.c:748)'),)) 有没有大佬有解决方法 ...

网络爬虫（Web Spider）又称网络蜘蛛或网络机器人，是一段用来实现自动采集网站数据的程序。网络爬虫不仅能够为搜索引擎采集网络信息，而且还可以作为定向信息采集器，定向采集某些网站中的特定信息。对于定向信息的爬取，网络爬虫主要采取数据抓取、数据解析、数据入库的操作流程。（1）数据抓取：发送构造的HTTP请求，获得包含所需数据的HTTP响应；（2）数据解析：对HTTP响应的原始数据进行分析、清洗，以提取出所需要的数据；（3）数据入库：将数据进一步保存到数据库（或文本文件）中，用于构建知识库。

网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。通俗来讲，网络爬虫就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。原则上，只要是浏览器(客户端)能做的事情，爬虫都能够做。

本文介绍了网络爬虫的基础概念与应用。主要内容包括：1）爬虫定义与分类，分为通用、聚焦、增量式和深层网络爬虫四种类型；2）核心工作原理，涉及HTTP请求过程、响应结构和网页基础；3）常见爬取策略如宽度优先（BFS）和深度优先（DFS）遍历；4）Python中Requests库的使用方法，包括请求发送、响应处理和异常捕获。文章通过百度网页爬取实例，展示了网络爬虫从发送请求到获取响应的完整流程，为初学者提供了网络数据采集的基础知识框架。

37,738

社区成员

34,210

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章