在python中应用pyspark出现这个提示，这个怎么修改啊？

中枢人 2023-03-14 09:23:43

...全文

316 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_47196307 2023-05-06

打赏
举报

回复

调整日志等级

shiter 熟练 2023-05-01

打赏
举报

回复

警告可以不用管

解压直接用，编译好的x86架构python3.7.9(支持spark,pyspark,sparkR等)

提供在Spark上跑Xgboost模型需要的 Jar包及Python接口文件

Pyspark综合案例（pyspark安装和java运行环境配置）

主要介绍了pycharm编写spark程序，导入pyspark包的3中实现方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

使用PySpark进行测试很痛苦，因此让我们通过示例使其变得更简单。该项目是开发和测试PySpark应用程序/驱动程序脚本时应遵循的一些良好做法的示例。提示1：使用Python包 Spark要求您的驱动程序中的所有代码都必须位于启动python进程的执行程序的PYTHONPATH上。这意味着要么需要为集群中的每个节点正确配置所有必需的依赖项，要么将您的驱动程序所需的代码通过spark-submit --py-files /path/to/myegg.egg或sc.addPyFile()发送给执行者sc.addPyFile() 。对于不经常更改的需求，可以在供应/引导过程中在所有节点上进行全局pip install ...很好，但是对于经常更改的专有代码，则需要更好的解决方案。为此，您有两个选择之一：手动创建一个常规的zip文件，然后通过--py-files或addPyF

1,269

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章