集群CPU明明空闲,作业为何一直排队?调度器资源分配的真相
天天有人盯着监控面板问:“整个集群 CPU 利用率还不到 20%,我提交的 32 核作业怎么就排队好几个小时?”这个问题我在 LSF 和 Slurm 上都遇到过,而且频率不低。一开始我也以为是调度器坏了,后来排查多了才发现:绝大多数情况不是调度器故障,而是我们眼睛看到的“空闲 CPU”和调度器眼里的“可用资源”压根不是一回事。这篇就专门聊聊这个“明明有空闲 CPU,作业却一直排队”的经典问题,适合跑过集群的用户、刚接手集群的新管理员,以及所有被排队折磨过的人参考。
1. 调度器的“空闲”和你想的不一样
1.1 调度器记账:分配不等于使用
先纠正最核心的认知偏差。LSF 和 Slurm 这类调度器,判断一台计算节点能不能再塞作业,基本不看“CPU 当前利用率”,而是看“这台节点上多少个核已经分配出去了、还剩多少没分配”。
什么意思?一个节点 64 核,上面跑着一个作业,作业虽然只用了 10% 的 CPU(比如在等 IO、等网络、跑着 sleep),但调度器的账本上记着“这 64 核已经被这个作业包了”。只要这个作业没结束,这些核在“调度器视角”就是忙的,后面的作业哪怕只申请 1 个核,也进不来。
用停车位类比就很好理解:一辆车占了车位,哪怕车里没人、引擎熄火,车位依然是“已占用”状态,别的车不能停。调度系统管的是“占位”,不是“实时忙闲”。所以集群监控面板上的 CPU 利用率低,和调度器认为的“可分配资源”是两套完全不同的内部状态。
1.2 三种常见的“伪空闲”现场
很多新手排查时只盯 CPU,结果 CPU 看着剩一大把,问题反而被忽略。根据我处理的工单,至少有三类“伪空闲”现场是最常见的:
第一种,内存满了,CPU 空着。作业申请资源时往往同时要 CPU 和内存,调度器在分配节点时必须同时满足两个条件。一个节点 CPU 剩余 32 核,但内存只剩 4GB,那提交一个“32核 + 64GB 内存”的作业就无论如何塞不进去。监控面板只看 CPU,自然产生错觉。
第二种,GPU 或许可证 license 耗尽。GPU 节点上 GPU 被别的作业抢光,但 CPU 还没用满;或者作业需要某个商业软件的 license,license 池耗尽。这两种情况下,CPU 再空,作业也上不了墙。
第三种,节点处于 DRAIN / DOWN / 维护状态。节点被管理员手动下线、因故障自动标记不可用,或者处于维护模式。这种节点在监控面板上可能显示 CPU 空闲,但在调度器眼里是“禁止调度”状态,永远不会接收新作业。
所以排查的开始,我建议先把自己从“只看 CPU”的思维里拽出来,CPU 空闲只是“可运行”的必要不充分条件。
2. 三步分诊:先把“排队原因”问清楚
别急着猜原因,调度器本身会告诉你答案。我把排查流程固定成了三步,每一步都有对应的命令。
2.1 第一步:看你的作业为什么排队
这一步的目标是拿到调度系统给出的“排队原因”,这是整个排查的地基。
在 LSF 环境里:
bjobs -w 里状态栏如果是 PEND,后面的字段会有简单说明。bjobs -l 更详细,经常能看到类似这样一个片段:
LSF 给出的排队原因有时候比较隐晦,需要配合资源请求一起看。在 Slurm 环境里就直白很多:
scontrol show job 输出里有个关键字段 Reason,常见取值包括 Resources、Priority、Dependency、QOSMaxCpuPerUserLimit、NodeDown 等。这一步基本能把问题定位到“资源不够”还是“策略限制”还是“依赖未满足”。
我把两类系统常见的排队原因和大致含义整理成了对照表,排查时照着核对就行:
| 排队原因(Slurm) | LSF 类似表现 | 含义 | 解决方向 |
|---|---|---|---|
| Resources | 作业显示 PEND,bjobs -l 无明确原因 | 所有可能运行的节点上,资源都无法满足请求 | 查看内存/GPU/CPU 分配 |
| Priority | 高优作业插队,作业一直在低优先级 | 有更高优先级作业在等 | 等待或提升优先级 |
| Dependency | 作业显示 Dep/依赖等待 | 等待前序作业成功完成 | 检查依赖作业状态 |
| QOSMaxCpuPerUserLimit | 用户/项目 CPU 配额已满 | 触发用户级别 CPU 配额上限 | 联系管理员调整配额 |
| NodeDown | 节点 DOWN,作业无法分配 | 节点故障或被下线 | 管理员恢复节点 |
2.2 第二步:看节点真实资源分配与剩余
拿到“资源不足”这类原因后,第二步就是核实集群里到底还剩多少资源是“真正可分配”的。
LSF 环境看节点状态:
bhosts 里每个节点一行,重点看 STATUS 列(ok/closed/unavail 等)和 RUN、MAX 列。lsload 能看到每台机器的当前负载和内存剩余。
Slurm 环境对应操作:
sinfo 的 %C 字段格式是“已分配/空闲/其他/总数”,%e 是节点空闲内存。比如输出 64/0/0/64 表示 64 核全部空闲,但 %e 如果是 0,说明内存已经被占光了,那“CPU 空闲”就是伪空闲。
2.3 第三步:看队列、分区与用户配额
如果节点上确实还有足够资源,但作业还在排队,就要检查策略层了。
LSF 查队列配置:
重点看 MAX、PEND、RUN 等字段,以及队列对每用户作业数、每用户 slot 数的限制。
Slurm 查分区与 QOS:
实际排查中,我经常看到用户在一台集群上提交了成百上千个小作业,触发 MaxSubmitJobsPerUser 或者 CPU 核数配额,后续作业全部排队。这种就不是资源不够,而是“你的额度用完了”。
3. 六个让你“看着有 CPU 却在排队”的常见根因
第 2 章是排查路径,这一章我按根因拆解,把最常踩的坑集中讲透。
3.1 资源碎片化:最容易被忽视的数学问题
先说碎片化。举个例子:集群里大部分节点是 64 核。作业 A 申请 48 核跑在节点 N1 上,剩下 16 核。作业 B 也申请 48 核,作业 C 申请 16 核。这时候集群整体的“空闲 CPU”可能还有 200 多核——均匀分布在各个节点上的 16 核碎片。但调度器是“整节点分配”模式的话,作业 B 必须找到一整台节点有 48 核空闲,找不到,就排队;作业 C 只要能上任意一个节点,反而能跑。
更麻烦的是 LSF 的 span[hosts=1] 和 Slurm 的 --ntasks-per-node=... 这类限制。如果你提交作业时明确指定了“必须位于单台节点上”,那么即便集群里零散空闲核很多,调度器也得逐一排除,最终找不到满足条件的主机。
这个问题不是调度器等一等能解决的,是数学上的不匹配。我见过最极端的例子:集群 512 核,空闲 120 核,却塞不下一个“64核 + 单节点 + 120GB 内存”的作业,因为 120 核分布在三台节点上,没有任何一台满足单节点 64 核内存配额。
缓解思路有两个:一是提交作业时尽量放宽节点要求,允许跨节点分布式执行;二是把大作业的请求核数下调到和节点规格匹配,比如 64 核机器别申请 48 核,取 32 或 64 这种“整除友好”数字,减少碎片。
3.2 内存和许可证:调度器真正卡你的是“另一个资源”
这条太常见了,我单拎出来强调。作业排队时,很多人只看 CPU 空闲,却不看你申请的这个作业同时要多少内存。
LSF 下作业申请内存的常见写法是:
Slurm 下类似:
调度器做节点选择时,mem 是硬约束。节点 CPU 剩 32 核,剩余内存只有 8GB,你申请 32GB 内存,调度器会直接判定该节点不可用。这时候去看监控面板,CPU 空闲一大堆,实际上节点已经没内存可以给你了。
许可证也是同理。部分商业软件,调度器会结合 license 管理器做资源联动。license 池子满了,CPU 再多,作业也进不了运行态。排查时如果 bjobs -l 或 scontrol show job 的 Reason 字段里提到 license,基本就能锁定方向了。
3.3 队列策略与资源预留:规则在“看不见处”生效
这类问题最让人头疼,因为监控面板和节点资源完全正常,作业却一直 PEND。
常见玩法包括:
- 队列/PARTITION 按用户或项目分优先级,某用户在前一天占用了大量资源,后续作业被降权;
- 管理员设置了“每用户最大运行核数”,你交了 100 个作业,每个 32 核,配额 512 核,等你运行中的作业累积到 512 核后,剩下的全部排队;
- 集群配置了 reservation/资源预留,把某些节点保留给固定项目组,普通用户提交的作业哪怕看到节点空闲,也不能往预留池子里跑。
这类问题确认办法就是 2.3 节那几条命令。尤其记着看 QOSMaxCpuPerUserLimit、QOSMaxSubmitJobsPerUser、assoc_grace_time 这些字段。很多时候不是调度器不让你跑,是策略规定你这会儿“没资格跑”。
3.4 作业依赖:排队不代表没资源
这条很多人忽略。有些作业排队,和资源一点关系都没有,纯粹是被依赖关系绑住了。
Slurm 里你写过这种提交吗?
afterok 意味着必须等 123456 号作业状态为“成功结束”,新作业才开始。如果 123456 号作业卡在排队里,或者压根运行失败退出码非 0,新作业就会一直排队。
LSF 也有类似机制,比如 bsub -w "ended(321)"。按依赖关系提交的作业,状态就一直 PEND,即使所有资源都空转。
数组任务也容易被忽略:一个数组作业里如果某个子任务卡死或反复失败,后续依赖它的作业全部被阻塞。排查时先 squeue 看那张依赖树,找到最上游那个失败的作业,把它处理掉,后面的排队会自动解除。
3.5 节点状态与健康标签:那些“假空闲”节点
监控面板最容易骗人的就在这。一个节点 CPU 空闲,不代表它接收新作业。
Slurm 里节点状态有 idle、alloc、mix、drain、down 等。down 表示节点挂了或被主动下线,drain 表示“排空,不再接收新作业,但允许已有作业跑完”。如果集群里一批节点因为 ECC 内存错误、温度过高、内核 panic 被调度器自动标记为 down,面板上看着一片绿(因为 CPU 空闲),实际有效可调度节点数已经大幅缩水。
LSF 下对应状态是 unavail、closed。本机 CPU 温度爆表、磁盘写满、负载过载,都会被 LSF 自动挂起调度。
检查办法:
遇到这类现象,命令输出里一般都能看到具体原因。管理员的日常之一就是把这些“假空闲”节点修好,让它们重新回到可调度状态。
3.6 独占请求:资源“看起来”空闲,实际已被“预占”
最后一种:有些作业不是申请几个核,而是整机独占。
LSF 提交时可以加 -R "span[ptile=64]" 或者显式请求独占资源;Slurm 里直接 --exclusive。独占作业一旦运行,调度器就会把整台节点的所有 CPU 都标记为“已分配”,哪怕实际只用了 1 个核。从面板上看,这台节点 CPU 利用率为零,但调度器绝不会把同一节点的其他核分给新作业。
这还不包括管理员手动的 reservation。scontrol show reservation 能看到未来或当前生效的预留。预留期间,对应节点即便空着,也要等待预留作业启动,普通作业只能排队。
这种情况下,CPU 空闲是“人为预占”造成的,不是调度器失灵。合理做法是提前看集群公告,避开预留窗口,或联系管理员协商资源。
4. 真实排查实录:三个案例
理论讲多了,上实战。这三个案例是我处理过的类型,现象极其典型。
4.1 案例一:GPU 作业排一天,查出来 CPU 满了
现象:用户在 GPU 集群提了一个“8 GPU + 16 CPU + 128GB 内存”的训练作业,排了一整天没跑起来。用户截图说:GPU 节点明明还有 4 块空闲 GPU,为什么我的作业用不了?
排查过程:先 squeue -u 用户名 看排队原因,显示 Resources。然后 sinfo -o "%n %C %m %e %G %t" 逐节点看,发现问题出在 CPU 上:节点 GPU 确实有 4 块空闲,但这台节点 CPU 已经被另一个作业占用了 40 核,只剩 24 核。而我这个作业要求 16 核 CPU 在同一台节点上,看似只需 16 核,但调度器计算时会连同 GPU 一起做整节点资源匹配,CPU 余量不满足,就放弃了整个节点。
结论:作业排队的原因根本不在 GPU,而在 CPU。没有达到“CPU 与 GPU 同时空闲”的节点匹配条件。
解决:把作业请求改为 -c 8(降低单个作业的 CPU 需求),或者等待占用 CPU 的作业结束后自动跑起来。
4.2 案例二:整机空闲,新作业却始终不跑
现象:集群有 4 台 64 核节点,sinfo 显示其中 2 台状态完全 idle(64 核全空,内存充裕),但新提交的作业就是在排队。
排查过程:看 scontrol show job,Reason 字段写的是 Priority。说明不是资源不够,而是有更高优先级的作业正在排队。继续查:scontrol show partition 发现这两个分区里堆积了十几个来自某个重点项目的作业,这些作业的资源请求都很大,而且队列策略是“先到先服务”,后续作业被它们压在后面。
结论:集群不是不能跑新作业,而是“排在你前面的作业还没跑完”。这时候 CPU 再空闲,也得按规矩等。
解决:没有太多用户侧手段。要么调低自己的作业资源请求(比如从整节点改为 16 核小作业),提高被调度器“填隙”的概率;要么联系管理员看能否调整优先级。但至少明确了,不是故障。
4.3 案例三:几十个串行小作业把队列“堵死”
现象:某用户提交了 200 个串行单核作业(每个 1 核,1GB 内存),集群总空闲核数远大于 200,但实际只有几十个在跑,其余全部 PEND。用户百思不得其解。
排查过程:sacctmgr show qos 一看,MaxSubmitJobsPerUser 设置成了 64,同时 MaxCpuPerUser 限制为 120 核。用户已经提交了 200 个作业,触发了用户的提交配额;即便有空闲 CPU,调度器也会拒绝为该用户继续调度新作业。
结论:这是典型的“用户配额限制”,属于策略层问题,不是资源层问题。用户看到的是“明明有 CPU”,调度器看到的是“你已经超了配额”。
解决:让用户合并小作业,用数组作业(Job Array)或降低同时提交数量,必要时联系管理员调整 QOS 配额。
5. 让作业更快上墙的实用技巧
排查再多,不如少排队。这里写几条我实际用下来能立竿见影的技巧。
5.1 重新审视你的资源请求
很多排队是“作业自己作的”。常见毛病:
- 明明每个节点 64 核,非要申请 48 核,还要求单节点,制造碎片;
- 内存请求动辄比真实评估值高好几倍,白白卡掉一批可用节点;
- 不需要 GPU 的作业,也带上
--gres=gpu:1,导致必须等 GPU 节点,而普通 CPU 节点再空闲都不能用。
提交作业前,先看集群节点规格,再对照自己的程序实际占用,写一个“够用但不过分”的资源请求。实测下来,把项目里所有作业的“均分核数”对准节点规格,排队率明显下降。
5.2 善用调度器的“填隙”机制
Slurm 的 backfill(填隙)机制可以自动把排队的小作业插到“未来大作业预留的间隙”里。前提是管理员开启了 SchedulerParameters=bf_... 相关配置;LSF 也有类似的 backfill 调度策略。
用户侧能做的,是尽量提交那些“很快能跑完”的小作业,提高被 backfill 选中的概率。大作业在深夜高峰时段排队时,如果你的小作业运行时间只有十几分钟,调度器很可能在“大作业尚未开始”的空档先把你塞进去。
5.3 一个快速诊断脚本的思路
最后分享一个排查套路,不写死代码,讲下思路。你在集群上登录后,一条命令依次输出:你的排队作业列表、每个作业的 Reason、集群分区的空闲 CPU 与空闲内存、节点异常状态。相当于把我 2.1 到 2.3 的所有命令串起来。
Slurm 侧对应版本就是把 bjobs 换成 squeue -u $USER,把 bhosts 换成 sinfo,额外加一个 scontrol show job 取 Reason。脚本不用写得多优雅,能在 30 秒内拿到“原因三件套”(作业状态、节点资源、队列限制)就够了。
我自己处理这类工单的体会是:排队的真相几乎全藏在“资源请求组合”和“调度策略”里,而不是单纯的 CPU 总量上。以后你再看到面板上 CPU 一堆空闲,别急着怀疑调度器,先跑一遍 bjobs -l 或 scontrol show job 作业ID,让调度器告诉你它到底在等什么。大多数时候,答案比你想象得简单。