GenAl在端侧的个性化微调 (Fine-tuning) 具体是怎么实现的?

[weixin_61922525]

老师，GenAl在端侧的个性化微调 (Fine-tuning) 具体是怎么实现的?需要的数据量和训练时间大概是什么量级?在手机上能完成吗?

[weixin_38498942]

端侧 GenAI 个性化微调核心是基于 QAIRT 的 LoRA/QLoRA 轻量化微调：先将 LLM 量化为 INT4/FP16 部署到骁龙 NPU，冻结主干权重仅微调低秩适配器，通过 QAIRT Fine-tuning API 加载私有数据（文本 / 多模态）迭代；数据量需 500-5000 条样本（视场景），骁龙 8 Gen3/Elite 上 7B 模型微调单轮约 10-30 分钟，可在手机本地完成（需预留 10GB + 存储、开启 NPU 训练模式），也可先 PC 端轻量化处理再端侧适配。