边缘端设备上运行大型语言模型（LLM）时，内存不足导致模型加载失败，有什么解决方案？

[weixin_32422255]

边缘端设备上运行大型语言模型（LLM）时，内存不足导致模型加载失败，有什么解决方案？

[weixin_38498942]

边缘端LLM内存优化方案包括：
1）使用模型量化技术，将FP32/FP16模型压缩至INT4/INT8精度，Qualcomm AI Stack支持AWQ、GPTQ等量化方案；
2）启用KV-Cache分页管理，避免一次性预分配全部KV缓存空间；
3）采用模型分片（Model Sharding）技术，将大模型拆分为多个小模型按需求加载；
4）使用内存映射文件（Memory-Mapped Files）方式加载权重，实现按需分页加载而非全部驻留内存；
5）针对Snapdragon平台，可利用Hexagon NPU的片内SRAM缓存热点权重，减少DDR内存访问。目前Snapdragon 8 Gen 3可支持运行7B参数规模的INT4量化模型。

[weixin_38498942]

边缘端LLM内存优化方案包括：
1）使用模型量化技术，将FP32/FP16模型压缩至INT4/INT8精度，Qualcomm AI Stack支持AWQ、GPTQ等量化方案；
2）启用KV-Cache分页管理，避免一次性预分配全部KV缓存空间；
3）采用模型分片（Model Sharding）技术，将大模型拆分为多个小模型按需求加载；
4）使用内存映射文件（Memory-Mapped Files）方式加载权重，实现按需分页加载而非全部驻留内存；
5）针对Snapdragon平台，可利用Hexagon NPU的片内SRAM缓存热点权重，减少DDR内存访问。目前Snapdragon 8 Gen 3可支持运行7B参数规模的INT4量化模型。