全部
AI 人工智能
生成式 AI
AI Edge Box
WoS
IoT 物联网
XR/VR/AR/MR
Gaming 游戏
Auto 汽车
博文收录
开发者中文专区
博客
活动
资讯
视频
硬件开发案例

...

涉及权重本身微调，是否容易出现过拟合？

DeveloperCommunity 2021-07-29 13:38:57

涉及权重本身微调，是否容易出现过拟合？

...全文

给本帖投票

1985 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-07-29

打赏
举报

回复

校准集通常挑的不多，如果有小样本进行校准来微调权重，可能很容易出现过拟合；如果用大样本来微调权重，就还不如直接做重训练

深度学习自然语言处理分享整理：pp摘要：以显著的能力，大语言模型（LLMs）已成为许多自然语言处理应用中不可或缺的元素，而参数高效的微调，特别是 LoRA，已经因其轻量级的模型定制方法而备受青睐。与此同时，各种dropout方法，最初设计用于所有参数更新的完全微调(full weight)，缓解了与过度参数冗余相关的过拟合问题。因此，由于 LoRA 的可忽略的可训练参数和先前dropout方法的...

如何降低过拟合？这是深度学习中非常重要的问题。关于过拟合的相关概念和过拟合带来的危害，可参考笔者之前的博客：过拟合与欠拟合简要总结。如何解决过拟合？1. 获取和使用更多的数据集对于解决过拟合的办法就是给与足够多的数据集，让模型在更可能多的数据上进行“观察”和拟合，从而不断修正自己。然而事实上，收集无限多的数据集几乎是不可能的，因此一个常用的办法就是调整已有的数据，添加大量的“噪音”，或者对图像进行锐

最近出现了一系列令人激动的开源大语言模型，如meta的LLaMA、清华的ChatGLM等。伴随大模型一起爆火的，还有大模型的微调方法。然而随着模型规模和任务数量的增加，对整个Transformer模型进行微调也变得越来越昂贵。因此，很多参数高效微调方法（Parameter-Efficient Fine-Tuning，PEFT）方法被提出来解决这类问题。免费扫描参与课程（附老师ppt原稿&...

如何判断RNN模型发生过拟合？有哪些技巧防止过拟合？

过拟合（Overfitting）是机器学习模型在训练过程中过于“贴合”训练数据，导致其在训练数据上表现极好，但在新数据或实际应用中表现较差的现象。这类似于学生死记硬背考试题答案，遇到新题目却不会举一反三。过拟合是模型“死记硬背”而失去泛化能力的表现，可通过简化模型、增加数据、正则化等方法解决。目标是让模型像“理解知识的学生”一样，灵活应对新问题。：用高阶多项式强行穿过所有数据点，曲线扭曲且无法泛化。：用二次曲线拟合数据点，曲线平滑且能预测新数据。

高通开发者论坛

3,772

社区成员

5,821

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章