python爬取https网站时报错ssl版本问题无法导入url
一、问题描述
某次python脚本爬取某网站https地址时,程序运行报错:ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'OpenSSL 1.1.0h 27 Mar 2018'. See: https://github.com/urllib3/urllib3/issues/2168

二、处理
Python urllib 库用于操作网页 URL,并对网页的内容进行抓取处理。上述报错是因为当前的urllib3中的版本与请求所需的不匹配,当前版本过低,需要升级,执行如下安装即可:
pip3 install urllib3==1.26.15 -i https://pypi.tuna.tsinghua.edu.cn/simple
urllib 包包含了以下几个模块:
urllib.request:打开和读取 URL。
urllib.error:包含 urllib.request 抛出的异常。
urllib.parse:解析 URL。
urllib.robotparser:解析 robots.txt 文件。
各子模块用法如下:

另外,正如上文脚本中代码片段,还需要引入.request,我们抓取网页一般需要对 headers(网页头信息)进行模拟,否则网页很容易判定程序为爬虫,从而禁止访问。这时候需要使用到 urllib.request.Request 类:
urllib.request 定义了一些打开 URL 的函数和类,包含授权验证、重定向、浏览器 cookies等。另外还有一个常用方法,urlopen
urllib.request 可以模拟浏览器的一个请求发起过程。
相关推荐
解决安装python3.7.4报错Can''t connect to HTTPS URL because the SSL module is not available
主要介绍了解决安装python3.7.4报错Can't connect to HTTPS URL because the SSL module is not available,本文给大家简单分析了错误原因,给出了解决方法,需要的朋友可以参考下
解决安装python3.7.4报错Can”t connect to HTTPS URL because the SSL module is not available
简述 从官网下载了Python3.7.4,直接编译安装后,使用pip3出现了报错信息: Can’t connect to HTTPS URL because the SSL module is not available 错误原因 在Python3.7之后的版本,依赖的openssl,必须要是1.1或者1.0.2之后的版本,或者安装了2.6.4之后的libressl。 image.png 而本地的openssl依然是1.0.1e的。 [root@localhost ~]# openssl version OpenSSL 1.0.1e-fips 11 Feb 2013 解决方法 上ope
解决Python requests 报错方法集锦
主要介绍了解决Python requests 报错方法集锦的相关资料,需要的朋友可以参考下
Python解决pip install时出现的Could not fetch URL问题
前言 使用python直接使用pip install xx时,出现 Could not fetch URL https://pypi.python.org/simple/requests/: There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify faile 这种错误,可以用以下方法解决。本人也是拜访无数帖子,尝试了几个小时弄好的,希望可以给大家节省点时间。 一、错误提示 碰到这个问题,主要原因是网站pypi.python.org在国内是被墙
python3中pip3安装出错,找不到SSL的解决方式
今天小编就为大家分享一篇python3中pip3安装出错,找不到SSL的解决方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


