spark资源分配

小猴子emo 2019-07-01 12:00:48

在spark-env.sh文件中配置了一下参数；
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=12

但是现在我想恢复到原来的默认分配的资源该怎么恢复呢
怎么只显示最后俩个，请大家帮帮忙。

...全文

101 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

月~枫 2019-10-22

打赏
举报

提交后集群还有空余资源可以同时提交另外一个程序吗

怎么全部重名了 2019-07-11

打赏
举报

spark-submit提交时候
--class cn.spark.sparktest.core.WordCountCluster \

--num-executors 3 \ 配置executor的数量

--executor-memory 100m \ 配置每个executor的内存大小

--executor-cores 3 \ 配置每个executor的cpu core数量

--driver-memory 100m \ 配置driver的内存（影响很大）

/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \
可以手动指定

(1*4即4个节点共4个executor)*4=16，总cpu为32线程 8/16=1/2。...内存数与线程数不是严格按照1:2，或者1:4，这个需要看一下每个节点的可用资源，具体情况具体计算。这里可以看出来，内存数/线程数=16/4=4。

1、服务器资源 5台datanode节点 cpu：48 查看命令：cat /proc/cpuinfo | grep processor | wc -l 内存：128G 查看命令：free -h 2、yarn资源 yarn.nodemanager.resource.cpu-vcores = 36 yarn.nodemanager....

spark任务调度和资源分配 1、Spark调度模式 FIFO和FAIR Spark中的调度模式主要有两种：FIFO和FAIR。默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。而...

1、任务调度与资源调度任务调度：是指通过DAGScheduler，TaskScheduler，SchedulerBackend等进行的作业调度。资源调度：是指应用程序获取资源。...Spark的Driver的运行有2种模式，一种是Client模式（Driver程...