骁龙 AI PC 上如何使用 ExecuTorch 部署端侧大模型？

[请你吃冰激凌]

骁龙 AI PC 上如何使用 ExecuTorch 部署端侧大模型？
 

[老杨261]

在骁龙 AI PC 上使用 ExecuTorch 部署端侧大模型时，通常需要先将模型导出为 PyTorch 计算图，再通过 ExecuTorch 进行 Lower 和量化，最后生成可在设备上执行的 .pte 文件。

示例转换流程如下：

python

运行

from executorch.exir import to_edge_transform_and_lower

exported_program = export(model, sample_inputs)

edge_program = to_edge_transform_and_lower(
  exported_program,
  partitioner=[QualcommPartitioner(), XnnpackPartitioner()])

edge_program.to_executorch().save("model_hexagon.pte")

生成后可以在骁龙 AI PC 上通过 ExecuTorch 运行器加载并执行推理。