20.spark升级1.0版本为2.0版本

bj278595437 2023-01-12 15:00:06

课时名称课时知识点
20.spark升级1.0版本为2.0版本升级很多人可能会遇到问题，这里交给大家如何升级
...全文
284 回复 打赏 收藏 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
CDH6.3.2 升级 Spark3.3.0 版本
看网上的资料，有人说 Spark3 的 SQL 运行性能比 Spark2 可提升 20%，本人未验证，但是 Spark3 的 AE 功能的确很香，能自适应解决 Spark SQL 的数据倾斜。修改 spark3 的 pom 配置 /opt/spark-3.3.0/pom.xml，增加 cloudera maven 仓库。用的是 spark 的 make-distribution.sh 脚本进行编译，这个脚本其实也是用 maven 编译的，配置 spark3-submit 快捷方式。重置 scala 版本。
侯勇蛟的课程社区_NO_1

1

社区成员

44

社区内容

发帖
与我相关
我的任务
社区管理员
  • bj278595437
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章