Python常用库清单:从数据处理到AI部署一次讲透
写这份清单的时候,我难得没犯拖延症。起因是上周帮一位刚转行的朋友梳理学习路线,他问我"Python到底要装哪些库才够用",我噼里啪啦列了一大堆,列完发现这本身就是一份很好的目录。干脆就把它整理成一篇文章——不算"所有",但覆盖了我这几年实际用过、以及身边同事朋友高频依赖的绝大部分库,分成数据处理、爬虫、Web开发、机器学习、日常脚本等几大类。有的库你可能天天用,有的可能只在某个场景碰一次,我会把每个库解决什么问题、有什么坑、替代方案是什么都写清楚,尽量不让你看完只觉得"收藏了等于会了"。
这份清单适合这几类人:刚装好Python还不知道装什么库的新手,想找某个场景解决方案的进阶开发者,以及做技术选型时想快速对比的老手。为了保证你能顺利装下这些库并且跑起来,我会先花点篇幅把环境准备讲透——很多人在装库这件事上吃了太多亏,其实大多是环境问题。
1. Python库整理这件事,先定个思路
把"所有的库"列出来不现实,PyPI上注册的包已经超过五十万个,真要全列出来,这篇文章就不是人看的了。我盘点的标准是"个人实测可用"+"在真实项目里见过或者用过",偏底层但同时面向应用。这样整理出来的清单不会变成花架子,每个库都能明确回答"我到底该不该装它"。
我习惯把库分成六大类:
- 环境工具类:装库、管理环境、打包分发
- 数据与计算类:数组、表格、可视化、科学计算
- 网络与爬虫类:请求、解析、自动化采集
- Web与API类:网站框架、接口开发
- 机器学习与AI类:训练、推理、模型部署
- 办公自动化与日常小工具类:操作Excel、Word、系统命令
每类里我尽量做到"一主一备一替代":主力库首推,备选库在主力不满足需求时再看,替代库解决特定痛点。这样做的好处是,你只需要记住每类里的一两个名字,其他知道有这回事就行,用到时再深入学,学习成本低很多。
另外,Python本身只带标准库,但标准库其实非常强大。有些场景不需要第三方库就能解决,比如urllib、json、csv、sqlite3、os、re这些。我建议任何时候都先想想标准库能不能干,实在不行再引第三方依赖,这样你的脚本在别人机器上跑起来会省很多事。
2. 装库之前,把这些环境问题一次搞定
我见过太多案例:库装不上、装上了运行报错、换个目录代码又找不到库。这些问题十有八九不是库本身的问题,而是环境没管理好。所以先花三千字篇幅把环境讲透,后面所有库才能装得顺手。
2.1 用对pip,再用对镜像源
pip是Python官方的包管理器,装库首选。新版本Python安装后自带pip,大多数情况下不需要单独安装pip。第一次用pip的人,建议先执行:
先把pip本身升到最新,避免后续因为pip版本太老导致某些库没法安装。
在国外服务器上装库速度很慢、甚至超时报错,这大概率只是网络问题。解决办法是换用国内镜像源。我个人常用清华源,一行命令搞定:
不想每次都加参数,就配置成全局默认:
换完过后速度通常能提升几十倍。需要注意,镜像源偶尔会有不同步的情况,如果某个库在官方已经发布了新版本,但镜像源还没同步,你可能会装到旧版。遇到这种事不要慌,临时代用官方源安装即可:
(不加-i参数就是官方源,前提是你的网络允许直连。)
2.2 Python版本是第一道坎
很多人装不上库,根因是Python版本太老或者太新。一些库对Python版本有硬性要求,比如新版Pandas要求Python至少3.9,某些深度学习库可能要求3.10以上,而个别老库则还没适配3.12。所以装库之前最好先确认自己的Python版本:
我的建议是,日常开发用Python 3.10或3.11最稳妥,这两个版本对绝大多数库兼容性最好。如果你用的是3.8及以下,遇到装不上库的概率会明显增加,建议直接升级Python,而不是跟库死磕。
安装多个Python版本时,务必搞清楚自己当前用的到底是哪个。Windows上如果同时装了3.9和3.11,命令行里执行python很可能指向旧版本。这时候可以用带版本号的命令,或者用虚拟环境把版本和项目绑定在一起。
2.3 虚拟环境是你最该养成的习惯
每个项目依赖的库版本可能冲突:项目A需要Pandas 1.5,项目B需要Pandas 2.0,如果全装到全局环境,早晚出事。虚拟环境就是为每个项目准备一个独立的Python空间,互不干扰。
我用得最多的是Python自带的venv:
Windows上激活:
macOS和Linux上激活:
激活后你会发现命令行前面多了(myenv)的提示,这时候再执行pip install,库就会装进这个独立环境,不会污染全局。摆脱虚拟环境就执行deactivate。
如果你做数据分析、机器学习,我更推荐用Anaconda或者Miniforge,里面自带conda命令。conda不仅能管理Python包,还能管理Python版本本身,对底层依赖(比如NumPy、C库)的处理比pip更省心。conda建环境:
激活环境:
conda和pip可以混用,但我建议优先用conda装科学计算类的库,装不上再补pip,两套工具交叉使用能覆盖绝大多数场景。
环境这块说完,接下来进入正题,按类别把库一个个过一遍。
3. 数据处理三件套:NumPy、Pandas、Matplotlib
数据处理是Python应用最广泛的方向,几乎每个做数据分析、量化交易、科研计算的人都要用到这三个库。
3.1 NumPy:一切科学计算的地基
NumPy提供多维数组对象ndarray和大量数学运算函数。它的底层由C语言编写,计算速度远快于纯Python循环。举个例子,如果你要对一万个数做平方运算,用传统for循环可能要几十毫秒,用NumPy写:
一行搞定,而且速度感人。几乎所有Python数据处理库都构建在NumPy之上,Pandas的DataFrame、OpenCV的图像矩阵、机器学习的特征数据,底层全是NumPy数组。所以不管你做哪个方向,NumPy基本是跑不掉的。
3.2 Pandas:表格数据处理利器
Pandas用DataFrame的二维表结构来管理数据,类似Excel,但自动化能力碾压手工操作。读取Excel、CSV、SQL数据库都能一行搞定:
它对缺失值处理、分组统计、汇总透视、多个表格合并这类操作非常顺手。我写"python写入excel"相关脚本时,经常用Pandas把数据规整好,再配合openpyxl引擎写入Excel文件。
Pandas版本更新较快,老项目里如果遇到Pandas 1.x的代码迁移到Pandas 2.x报错,通常是一些方法参数发生了变化。建议落地项目时明确记录Pandas版本,避免升级后出现行为突变。
3.3 Matplotlib与Seaborn:画图两兄弟
Matplotlib是最基础的绘图库,散点图、折线图、柱状图、热力图都能画,自定义程度极高。缺点是默认样式比较朴素,想要好看得自己调细节。
Seaborn是建立在Matplotlib之上的高级封装,专门用于统计数据可视化。配色更现代,很多图一行就能出效果:
做数据探索时我通常先画Seaborn的图快速看分布,需要精细定制再退回Matplotlib。这两个搭配使用,报表、论文配图、数据汇报都不愁。如果你的英文不好,绘图里的中文乱码是因为Matplotlib默认字体不含中文字符,需要加一行字体设置:
3.4 补充:SciPy和StatsModels
SciPy是NumPy的延伸,包含优化、线性代数、积分、插值、信号处理等模块。做数值计算时,SciPy往往是首选。
StatsModels用于统计建模,线性回归、逻辑回归、时间序列分析都能做。和scikit-learn相比,StatsModels更偏统计检验和模型解释,会给出p值、置信区间等详细统计指标。做量化交易策略回测时,我常用StatsModels做时间序列分析,结合Pandas处理行情数据,整个流程非常顺。
4. 爬虫与自动化采集类,从简单到复杂
爬虫是很多人入门Python的动因,这套工具链也是我推荐新手最优先掌握的。从简单到复杂,按需选择。
4.1 Requests:HTTP请求的瑞士军刀
Requests是最经典的HTTP库,比标准库urllib好用太多。写爬虫、调接口、下载文件、模拟登录,日常八成需求都用它:
POST请求、携带请求头、会话保持Cookie也都很方便:
我建议所有爬虫项目的第一版都用Requests写,逻辑简单,调试方便。等到需要高并发或者复杂登录时再考虑升级。
4.2 BeautifulSoup4与lxml:解析HTML的黄金搭档
拿到网页源码之后,要用解析库提取数据。BeautifulSoup4能把HTML转成一棵可遍历的树,再借助select或find_all定位目标元素:
解析器推荐用lxml,速度比默认的html.parser快很多。安装时注意:
用BeautifulSoup取属性、过滤标签、按CSS选择器定位,对新手非常友好,也是最不容易出错的选择。
4.3 Scrapy与Selenium:高手进阶与JavaScript渲染
如果采集规模大、网站结构复杂,建议上Scrapy。Scrapy是完整的爬虫框架,自带调度器、去重、管道、中间件,写起来比Requests+BeautifulSoup规范得多,而且支持异步并发,采集速度成倍提升。不过Scrapy的学习曲线稍陡,需要理解框架组件之间的关系。常用的做法是把Rules、Item Pipeline、Spider中间件分开设计,前期稍微多花点时间搭框架,后面扩展性极强。
遇到内容是JavaScript动态渲染的页面,Requests拿到的是空壳,这时候要看Selenium。Selenium驱动真实浏览器访问页面,能执行JavaScript、模拟点击、滚动、填写表单。缺点是资源占用大、速度慢,适合中小规模或对完整性要求极高的采集任务。新版Selenium已经支持直接定位元素,配合WebDriverWait做显式等待,稳定性比老版本好很多。
我个人的经验是,优先用Requests+BeautifulSoup解决90%的静态页面,实在不行再上Selenium,最后才考虑Scrapy的大规模采集。不要一上来就整个重型框架,维护成本太高。
4.4 补充工具:fake-useragent、retrying
写爬虫经常遇到网站对User-Agent做校验,fake-useragent能帮你随机生成浏览器标识,减少被屏蔽的概率。retrying库则支持简单的重试逻辑,比如网络偶尔抖动,给请求加上重试次数和间隔,稳定性提升明显:
5. Web开发与API,搭网站和接口
Python在后端开发中的份额很大,主要靠下面这几个框架撑起来。
5.1 Flask:轻量灵活,适合快速起步
Flask本身只提供最核心的路由和请求处理,其他功能靠扩展。优点是简单、轻量、易部署,适合个人项目、内部工具、机器学习模型的服务化封装。一个能跑起来的最小应用就几行:
我经常用它给内部脚本包一层HTTP接口,比如数据清洗接口、文件转换接口,配一个简单的Web表单,非技术同事也能直接用。生产环境的Flask应用建议配合gunicorn部署,Flask自带的开发服务器性能不够。
5.2 Django:全家桶,上正规项目
Django自带ORM、Admin后台、认证、表单等全套组件,适合中大型项目,尤其是需要管理后台的内容站点。它的ORM能把Python类映射成数据库表,免写SQL,对业务开发效率提升非常大。Django的官方文档非常详尽,跟着教程做一个投票应用,基本就能理解全流程。
如果你以前写PHP或者Java,会更喜欢Django的"框架帮你做决定"风格。如果更想自由组装,Flask甚至FastAPI可能更适合。我见过很多团队从Flask迁移到Django,原因都很相似:项目复杂到一定程度,Flask需要自己拼的零件太多,Django统一封装反而更省心。
5.3 FastAPI:现代API的时代选择
FastAPI这两年热度很高,特点是性能好、代码量少、自带接口文档。基于Python类型注解生成的OpenAPI文档,前端对接非常方便:
它支持异步、支持pydantic做参数校验,写REST接口非常顺手。如果新项目纯做前后端分离API,我会优先推荐FastAPI。很多量化交易系统的行情推送服务也常用FastAPI搭建WebSocket服务,处理实时数据流很方便。
6. 机器学习与AI方向,训练与部署
大模型时代Python在AI领域依然占据绝对主力位置。这个板块涉及面广,我按训练框架、传统机器学习、部署推理三层来讲。
6.1 scikit-learn:传统机器学习首选
scikit-learn封装了分类、回归、聚类、降维、模型选择等几乎全部经典算法,API统一。一个简单的逻辑回归训练:
新手用它入门最合适。sklearn库安装时如果报错,多数是依赖的numpy或scipy版本不匹配,建议先用conda安装scikit-learn,conda会自动帮你处理底层依赖。sklearn的新旧版本之间API有变化,比如旧版的cross_validation模块已经改名为model_selection,代码迁移时要留意。
6.2 PyTorch与TensorFlow:深度学习双雄
深度学习和神经网络方面,PyTorch目前人气更旺,动态图机制调试方便,研究社区活跃,很多大模型的开源实现都以PyTorch为基础。TensorFlow则在工业部署和移动端有更多沉淀,Keras高层API适合快速搭网络。
如果你是个人学习或者搞研究,我现在更推荐PyTorch。它的语法更接近Python直觉,模型定义像搭积木:
安装PyTorch时,如果需要GPU加速,建议去PyTorch官网根据CUDA版本选择安装命令,直接用pip install torch装到的通常是CPU版本,跑起来会比较慢但也能用。GPU支持要看显卡、NVIDIA驱动和CUDA版本是否匹配,这块坑特别多,改天单独开一篇细讲。
6.3 ONNX Runtime:模型部署的架桥人
训练好的模型要部署到生产环境,ONNX Runtime是个高效的推理引擎,基于ONNX(开放神经网络交换格式)标准运行模型。你完全可以用PyTorch训练,然后导出成ONNX格式,再用onnxruntime在服务端推理,省掉PyTorch的依赖,体积更小、速度更快:
用onnxruntime动态库时,常见问题是输入输出的名字和维度与模型导出的不一致,跑之前用session.get_inputs()确认一下接口信息,能避免很多莫名其妙的报错。CPU上部署加个优化参数:
6.4 OpenCV与Pillow:图像处理双主力
OpenCV是计算机视觉的事实标准,图像读取、灰度转换、边缘检测、人脸识别都有现成函数。Pillow更偏图像文件的操作,裁剪、缩放、保存不同格式、加水印都很方便。如果只做简单的图片批量处理,Pillow就够;涉及物体识别、摄像头画面、图像算法,再上OpenCV。需要注意OpenCV的安装包名是opencv-python,但import的时候写cv2,我第一次就因为这个找了半天原因。
7. 日常脚本与办公效率,解放双手
Python除了做大型项目,也很适合处理日常琐事。这一类的库往往解决具体场景,装好就能立刻见效。
7.1 openpyxl:读写Excel神器
用Python操作Excel,openpyxl是首选。它支持Excel 2010及以上版本,能读写xlsx文件,还能设置单元格样式、合并单元格、创建图表:
批量生成报表、更新统计数据都非常方便。如果文件是xls老格式,openpyxl不管,要用xlrd和xlwt来操作。读取Excel时如果遇到偶尔报错说文件损坏,多数是文件本身有合并单元格或复杂格式导致,可以先用Excel打开另存为xlsx再处理。
7.2 PyInstaller:把脚本打包成可执行文件
写好的Python脚本要给没有Python环境的人用,PyInstaller是标配:
- F生成单个exe文件,-w表示运行时不显示控制台窗口(GUI程序用)。Windows上用PyInstaller打包时有个经典坑:杀毒软件会把生成的exe误报,用upx压缩也可能触发误报,最好的办法是到virustotal查一下,确认来源可信就不用慌。
7.3 tqdm、click、pathlib:提升日常编码体验
tqdm在循环中显示进度条:
处理大文件、批量下载时看到进度条,心理压力小很多,也能直观判断程序是不是假死。
click用来写命令行工具,定义参数比sys.argv优雅得多:
pathlib是标准库,专门处理文件路径。Python 3.6以后自带,不建议再用os.path拼接路径,pathlib的Path对象用/运算符直接拼接路径,可读性好太多。
7.4 schedule与smtplib:定时任务与邮件通知
写脚本定时执行,比如每天凌晨跑一次数据报表,schedule库最轻量:
注意schedule只适合脚本进程常驻的场景,如果服务器重启就会失效,更可靠的是系统的cron或Windows任务计划程序,调schedule跑。
发送邮件通知用标准库smtplib配合email库即可,不需要第三方依赖。数据异常时发告警邮件、任务跑完发结果邮件,都是很常见的自动化做法。
8. 常见问题与排查技巧速查
整理完库清单,把大家问得最多的安装和使用问题汇总一下,基本覆盖了"装不上、找不到、跑不动"三种失败场景。
| 症状 | 原因 | 解法 |
|---|---|---|
| pip install超时或失败 | 网络不稳 | 换用国内镜像源,或加--timeout参数 |
| 安装时报Microsoft Visual C++错误 | 缺少C++运行库 | 安装Visual C++ Build Tools,或者改用conda装 |
| 报错No module named 'sklearn' | 库没装或装错环境 | 确认当前激活的虚拟环境,重新安装scikit-learn |
| import cv2失败 | opencv-python没装 | 执行pip install opencv-python,注意包名 |
| 装了库但Python找不到 | 环境串了 | 检查当前python和pip是不是同一环境,执行python -m pip install |
| onnxruntime动态库加载失败 | ONNX Runtime版本与模型不匹配 | 确认Python位数和onnxruntime版本,重装匹配版本 |
| 绘图中中文是方框 | 字体缺失 | 设置中文字体,或安装中文字体文件 |
| 包版本冲突 | 多个项目依赖不同版本 | 一律使用虚拟环境或conda环境 |
| 网页爬取不到数据 | Cookie或反爬校验 | 用Session带上登录Cookie,设置请求头 |
| PyInstaller打包后杀毒误报 | 打包特征被误判 | 去官网下载最新版PyInstaller,或换用Nuitka |
这些坑基本都是我实际踩过的,写出来省得你再走一遍弯路。如果你用的是VSCode,建议按官方教程装好Python扩展,再在项目根目录创建一个.venv虚拟环境,VSCode会自动激活并识别解释器,能省下很多环境切换的烦恼。
最后我再说一句掏心窝的话:不要因为这份清单而焦虑。没有人需要一次学会所有库,流行库更迭很快,但底层的Python语法、调试能力、计算机基础才是真正吃香的东西。整理这份清单的初衷就是让你"知道有什么工具、遇到问题知道找谁",等你真正要在项目里用某个库时,再去查官方文档和源码,这才是正常的学习节奏。我现在写脚本前也经常现查某个函数的用法,这不丢人,反而是成熟开发者的日常。