LSF/Slurm作业明明有空闲CPU却排队?调度器资源分配真相解析
每次群里有人发截图问:“明明有空闲 CPU,LSF / Slurm 作业为什么一直在排队?”我基本会先回一句:你把 squeue --start 或者 bjobs -p 的输出贴全了吗?不是我不想帮,而是这个问题背后十有八九不是“CPU 不够”,而是调度器的账本和你肉眼看到的节点状态对不上。
调度器从来不是一台“实时负载均衡器”,它更像一个死板的资源记账员:你申请多少 CPU、多少内存、多少 GPU、多少节点,它就按这个规格去找有没有完全满足的“空位”。只要有一个维度不满足,作业就会排队。今天这篇,我就把 LSF 和 Slurm 的排队逻辑彻底拆开讲,从 pending 原因的解读、真实排查过程,到用户侧和管理员侧各自的调整方式,尽量一次说透。
1. 先对齐预期:调度器眼里的“可用 CPU”和我们看到的不是一回事
1.1 CPU 利用率是“动态值”,调度器记账却是“静态预留”
很多人习惯用 top、htop 看节点,看到 CPU 使用率只有 20%,就觉得“这机器明明闲着”。但 LSF 和 Slurm 这类批处理调度器,几乎不会用 CPU 利用率来判定作业能否启动。它们的核心逻辑是:把资源“预支”给正在运行的作业,预支之后,这部分资源对其他作业就是不可见的。
举个例子,在 Slurm 集群里,一个作业提交时写了 --ntasks=8 --mem=32G,作业一旦开始,这 8 个 CPU 核心和 32GB 内存就会被从节点资源池中扣掉。哪怕这个作业实际只用了单线程、内存只用了 2GB,只要它没结束,这部分资源也不会还给其他作业。LSF 的逻辑类似:bsub -n 8 -R "rusage[mem=32G]" 启动后,这 8 个 job slot 和 32GB 内存就挂在作业账上。
这个设计其实和飞机卖票一样:一个乘客买了一张票,哪怕他全程去厕所、座位上没人,这个位置也不能再卖给第二个人。调度器为了保证“已经开始的作业随时可以完整使用它申请的资源”,宁可让一部分资源短期空转,也不愿意把一个“正在运行但可能随时膨胀”的作业和另一个作业塞在一起,导致性能互相干扰。
1.2 资源不只 CPU,排队原因一大半出在内存、GPU 和许可上
每次用户说“CPU 有空闲”,我第一反应是:那你把节点上的内存、GPU、License 也一起看一下。节点状态里的“空闲 CPU”只是调度器眼中的一种维度,真正挡住作业的往往是其他条件。
- 内存:
scontrol show node里有RealMemory和FreeMem,sinfo -o "%N %C %m %e"能看到内存总量和剩余量。如果节点还有 20 个核心空闲,但内存只有 8GB 剩余,而你的作业要 32GB,调度器会直接判定“该节点不满足”。 - GPU:训练类作业尤其典型。节点上 4 块 GPU 都已被占,CPU 还剩 28 核,看起来“闲得很”,但如果你申请的是
--gres=gpu:1,那这台节点就是不可用的。 - 许可证:商业软件如 MATLAB、ANSYS、ABAQUS 等都有浮动许可证限制。节点有资源,但 license 没了,作业照样排队。LSF 在诊断信息里如果看到“waiting for license”,基本就是这种情况。
所以下次再看到“有 CPU 空闲”,请先问自己:我的作业除了 CPU,还申请了什么?其他资源满没满?这才是排队的真正分水岭。
1.3 按节点分配,不等于核心随便拼接
还有一类“错觉”是:整个集群还剩 200 个核心,为什么不把我的 16 核作业放进去?因为调度器分配资源的基本单位是“节点”。一个作业通常需要在一台节点(或指定的若干节点)内拿到满足条件的连续资源块,而不是像云原生调度那样把全世界空闲核拼成一个虚拟资源池。
想象你去酒店,前台说“今天有 80 间空房里的 30 张床可以分给你”,但你必须住同一间房。如果单间最多两张床,你需要三张床,那哪怕整栋楼有 30 张空床,你的需求也满足不了。HPC 里的“资源碎片”就是这么来的:每个节点都剩一点点 CPU 和内存,但没有任何单节点能满足你申请的规模。
遇到这种问题,常见做法是降低作业规格,或者把复杂度转给调度器:Slurm 下可以用 --ntasks=2 --cpus-per-task=8 让作业跨越节点运行,LSF 下可以用 -R "span[ptile=8]" 表示“每个节点最多放 8 个槽位”。但跨节点的 MPI 作业对网络有要求,不是所有任务都适合,所以管理员通常还是会把节点规格做得整齐,减少碎片。
2. Slurm / LSF 排队原因实战拆解
2.1 Slurm 的 PENDING Reason 到底是什么含义
squeue 里 ST 列是 PD 时,REASON 列就是核心线索。我自己见过的 pending reason 非常多,最常见的几个列一张速查表:
| REASON 字符串 | 含义 | 优先级 | | --- | --- |