1
社区成员
发帖
与我相关
我的任务
分享大模型的量化与推理加速技术
| 课时名称 | 课时知识点 |
|---|---|
| 大模型的量化与推理加速技术 | 本讲将讨论并探索如何高效地训练和部署大规模语言模型。内容涵盖数据并行、张量并行、流水线并行、零冗余优化等多种分布式训练技术的原理，以及模型量化、剪枝、知识蒸馏等用于推理加速和部署优化的方法。 1. 训练大模型面临的计算瓶颈与挑战 2. 数据并行、模型并行的原理与实现 3. 流水线并行、零冗余优化等分布式训练技术 4. 模型量化、剪枝、知识蒸馏等推理优化方法 5. 评估大模型的指标体系：perplexity、BLEU、Rouge 等 |
...全文
请发表友善的回复…
发表回复
