6,871
社区成员
发帖
与我相关
我的任务
分享windows下有没有计算资源管理的软件
有这么一个内部网络，可以认为类似windows集群。
有一大堆的计算任务，如果让一个节点来计算，那么需要计算十几个小时。所以需要一个队列管理的程序。
有一个任务管理服务器A，用户把计算任务提交到任务管理服务器A，A就把这些任务记录在一个队列里。
A和其他几个B类节点，也就是专门处理计算任务的计算节点B1、B2、B3……通信，每分钟通信一次，以此来查询这些B类节点是否空闲
如果B1空闲，那就不再给B1分派任务；如果B2空闲，A就把计算任务队列中的第一个任务分配给B2，这样原本计算任务队列中的第二个任务就变成第一个了；如果B3空闲就把新的这个第一个任务分配给B3，然后原本下一个计算任务就会排到第一位……依此类推；如果所有的B类节点都忙，那就暂停分配，计算任务队列中的任务就先不分配。
其实大家可能已经猜到了，这就是一个AI数据分析的小型集群，只不过题目种类和数量多一些，而且由于题目本身性质的原因，其实不方便让多个B类节点并行，各个B类节点单独运行可能更好一些，当然也不排除将来可能会用到多个B类节点并行的情况。
我需要的这个功能在linux下有一个slurm是可以做到的。但是因为我要运行的计算程序是windows only的，所以没办法用Linux+slurm，退而求其次寻求windows下的管理程序
至于数据的存储，另外有一个C类服务器，提供共享目录。然后让A和B类服务器通过盘符映射来使用C服务器上的存储。
我想问一下，windows有没有自带类似的软件，或者说有什么现成的软件能够实现这个计算任务管理的功能吗。
有一大堆的计算任务，如果让一个节点来计算，那么需要计算十几个小时。所以需要一个队列管理的程序。
有一个任务管理服务器A，用户把计算任务提交到任务管理服务器A，A就把这些任务记录在一个队列里。
A和其他几个B类节点，也就是专门处理计算任务的计算节点B1、B2、B3……通信，每分钟通信一次，以此来查询这些B类节点是否空闲
如果B1空闲，那就不再给B1分派任务；如果B2空闲，A就把计算任务队列中的第一个任务分配给B2，这样原本计算任务队列中的第二个任务就变成第一个了；如果B3空闲就把新的这个第一个任务分配给B3，然后原本下一个计算任务就会排到第一位……依此类推；如果所有的B类节点都忙，那就暂停分配，计算任务队列中的任务就先不分配。
其实大家可能已经猜到了，这就是一个AI数据分析的小型集群，只不过题目种类和数量多一些，而且由于题目本身性质的原因，其实不方便让多个B类节点并行，各个B类节点单独运行可能更好一些，当然也不排除将来可能会用到多个B类节点并行的情况。
我需要的这个功能在linux下有一个slurm是可以做到的。但是因为我要运行的计算程序是windows only的，所以没办法用Linux+slurm，退而求其次寻求windows下的管理程序
至于数据的存储，另外有一个C类服务器，提供共享目录。然后让A和B类服务器通过盘符映射来使用C服务器上的存储。
我想问一下，windows有没有自带类似的软件，或者说有什么现成的软件能够实现这个计算任务管理的功能吗。
...全文
请发表友善的回复…
发表回复
aabbabababaa 2020-12-21
- 打赏
- 举报
分布式计算啊，windows应该有专业的软件吧，没用过
