QCM6490跑大模型的数据？

[pc_wei]

AIHUB上看相关模型的性能数据都是8gen2或8gen3的 ，请问 QCM6490等稍微低端的平台跑baichuan-7b 还有Llama-v2-7B-Chat等模型的性能数据有没有数据，在哪可以看？

[prajina99]

Qualcomm AI Hub官方对IOT产品线的NPU的支持的支持会在5月份上线,敬请期待。

针对LLM, QCS/QCM6490相对比较低端，建议可以先从开源的MLC LLM这些框架开始，跑7B模型的token数相对比较低，建议尝试1.5B~3B左右的模型，会比较合适。