Llama Factory微调大语言模型的更多参数

人工智能培训咨询叶梓 2024-11-02 21:52:20

课时名称课时知识点
Llama Factory微调大语言模型的更多参数模型种类:支持上百种预训练模型。 训练算法:包括增量预训练、多模态指令监督微调等。 运算精度:支持16比特全参数微调、冻结微调、LoRA微调等。 优化算法:包括GaLore、BAdam、DoRA等。 加速算子:如FlashAttention-2和Unsloth。 推理引擎:支持Transformers和vLLM。 实验面板:LlamaBoard等。
...全文
51 回复 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

3

社区成员

发帖
与我相关
我的任务
社区描述
叶梓,长期负责城市信息化智能平台的建设工作,牵头多个省级、市级智能化信息系统的建设,主持设计并搭建多个行业省级、市级大数据平台。提供人工智能相关的培训和咨询
社区管理员
  • 人工智能培训咨询叶梓
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧