AI Edge Box 上部署多路模型时，如何避免模型之间互相抢占资源？

[嘻嘻哈哈又一天]

AI Edge Box 上部署多路模型时，如何避免模型之间互相抢占资源？
 

[weixin_38498942]

多路模型同时运行时，容易抢占 NPU、内存、带宽和 CPU。核心思路是资源隔离、队列调度和优先级控制。

1. 使用模型常驻与按需加载
   常用模型常驻内存，不常用模型动态加载：
   def load_model_once():
   global face_model
   face_model = load_qualcomm_model("face.dlc")
2. 使用请求队列
   避免并发请求直接涌入 NPU：
   from queue import Queue
   request_queue = Queue()

def worker():
while True:
task = request_queue.get()
run_inference(task)
request_queue.task_done()
3. 设置优先级
关键业务优先处理：
高优先级：安全检测、异常识别
低优先级：日志分析、统计上报
4. 限制并发数
例如同一时间只允许一个模型执行 NPU 推理。