spark资源分配

小猴子emo 2019-07-01 12:00:48

在spark-env.sh文件中配置了一下参数；
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=12

但是现在我想恢复到原来的默认分配的资源该怎么恢复呢
怎么只显示最后俩个，请大家帮帮忙。

...全文

93 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

月~枫 2019-10-22

打赏
举报

提交后集群还有空余资源可以同时提交另外一个程序吗

怎么全部重名了 2019-07-11

打赏
举报

spark-submit提交时候
--class cn.spark.sparktest.core.WordCountCluster \

--num-executors 3 \ 配置executor的数量

--executor-memory 100m \ 配置每个executor的内存大小

--executor-cores 3 \ 配置每个executor的cpu core数量

--driver-memory 100m \ 配置driver的内存（影响很大）

/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \
可以手动指定

一、整体情况 1、服务器资源 5台datanode节点 cpu：48 查看命令：cat /proc/cpuinfo | grep processor | wc -l 内存：128G 查看命令：free -h 2、yarn资源 yarn.nodemanager.resource.cpu-vcores = 36 yarn.nodemanager.resource.memory-mb = 70G 注...

spark任务调度和资源分配 1、Spark调度模式 FIFO和FAIR Spark中的调度模式主要有两种：FIFO和FAIR。默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。而FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。 2、资源分配概述 spark的分配资源主要就是 executor、cpu per executor、memory per executor、driver

(1*4即4个节点共4个executor)*4=16，总cpu为32线程 8/16=1/2。每个executor内存数=该节点可用的总内存数/该节点executor数=16G/1=19G(这里因为executor num实在太小，所以随便选了16)但是一般cpu:内存=1:2-1:4，阿里云封装的时候1CU = 1cpu+4G内存, 即1:4，该值是比较合理的。内存数与线程数不是严格按照1:2，或者1:4，这个需要看一下每个节点的可用资源，具体情况具体计算。这里可以看出来，内存数/线程数=16/4=4。

1、任务调度与资源调度任务调度：是指通过DAGScheduler，TaskScheduler，SchedulerBackend等进行的作业调度。资源调度：是指应用程序获取资源。任务调度是在资源调度的基础上，没有资源调度，那么任务调度就没有任何意义了。 2、分配Driver（只对cluster模式有效） Spark的Driver的运行有2种模式，一种是Client模式（Driver程...

Spark资源动态分配，性能优化