pyspark 和 pandas在环境下不能共存咋办

qq_41027047 2023-10-18 21:54:56

版本是Python 3.10.0 pandas 2.1.1 pyspark 3.5.0 不能共存的原因我自己查了下是因为pyspark目录下也有一个pandas的路径，所以import pandas都会引用到pyspark.pandas。目前的想法就是改一个名字，但是如何确保改名之后源码的引用都没问题呢？如果全都改一遍工作量也太大了

...全文

53 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_41027047 2023-10-18

打赏
举报

回复

目前改名字暂时解决了手头项目的问题，但是后面怎么样就不知道了，去咨询一下spark的客服吧

写在前面：如何将Pyspark 和 Pandas结合起来做机器学习和常规的建模分析呢？ Spark处理大数据，Pandas处理小数据。 pyspark中的DataFrame是分布式的，可以用来处理大规模数据的ETL，处理后的数据collect到单机器节点上，然后交给Pandas dataframe来处理。虽然Panas是单机处理的，但胜在功能工具比较齐全和完善，处理下小数据的分析和操作还是足够的。一、基本ETL常规操作 1、从Pandas DataFrame创建 Spark DataFrame

使用Python做数据处理的数据科学家或数据从业者，对数据科学包pandas并不陌生，也不乏像云朵君一样的pandas重度使用者，项目开始写的第一行代码，大多是 import pandas as pd。pandas做数据处理可以说是yyds！而他的缺点也是非常明显，pandas 只能单机处理，它不能随数据量线性伸缩。例如，如果 pandas 试图读取的数据集大于一台机器的可用内存，则会因内存不足而...

PySpark是Apache Spark官方发布的一部分，可以在Apache Spark网站上获取。对于Python用户，PySpark还提供了从PyPI进行pip安装的方式。这通常适用于本地使用或作为连接到集群的客户端，而不是设置一个集群本身。

Python 是最受欢迎的通用编程语言之一，具有许多令人兴奋的特性，可用于数据处理和机器学习任务。为了从 Python 中使用 Spark，最初开发了 PySpark 作为 Python 到 Apache Spark 的轻量级前端，并使用 Spark 的分布式计算引擎。在本章中，我们将讨论使用 Python IDE（如 PyCharm）从 Python 中使用 Spark 的一些技术方面。许多数据科学家使用 Python，因为它具有丰富的数值库，具有统计、机器学习或优化的重点。

Python全栈技术社区

11,445

社区成员

3,107

社区内容

发帖

与我相关

我的任务

python学习企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

创建由Python学习者和社区专家组成的国内最大的第三方Python中文社区，帮助社区成员更好地入门学习、职业成长和应用实践

这里有最新最全的 Python 学习内容及资源，每月多达4次技术公开课
这里有众多 Python 学习者，陪伴你一起交流成长
这里有专业 Python 社区专家、讲师，帮助你跨越学习瓶颈，解决实操难题
这里有丰富的社区活动，可以开阔眼界，结识更多同伴

【最新活动】：

周四技术公开课讲师招募中，点击查看详情
“Python 社区专家团” 招募中,点击查看详情

试试用AI创作助手写篇文章吧

+ 用AI写文章