如何理解NLP中的类别不平衡问题？

Kirara绵绵冰 2022-01-13 11:18:08

如何理解NLP中的类别不平衡问题？

...全文

1967 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2022-01-13

打赏
举报

回复

类别不平衡就是值分类任务中，不同类别的训练样例数目差别很大的情况

_专注于中文的「自然语言处理框架」：中文分词；平衡类别；数据集划分..._cnlp

在分类任务中，不同类别的样本数量分布不均衡的情况。解决类别不平衡问题的方法：包括欠采样、过采样、SMOTE等方法，通过调整样本数量平衡数据集。通过加权交叉熵、聚焦损失等方法，使模型更关注少数类样本。通过生成新样本增加少数类的样本数量和多样性。使用平衡随机森林、Bagging、Boosting等方法，提高少数类的识别能力。

1. 什么是样本不平衡问题？所谓的样本不平衡问题指的是数据集中各个类别的样本数量不均衡。以二分类问题为例，通常情况下把样本类别比例超过4:1的数据就可以称为不平衡数据，极端情况下正负样本比例有可能达到1:1000。 2. 如何解决样本不平衡问题 1. 数据重采样数据重采样方法是指对训练数据进行重新采样，从而让各个类别数量接近，具体分为过采样和欠采样两种思路。最简单的过采样方法是对小类别的样本进行重复随机采样，补充到小类别当中，直到小类别样本数据量增大到符合要求为止(当然另一个更直接的方法是复制小类别样

目录1 问题定义2 解决方法2.1 采样2.2 SMOTE方法2.3 阈值调整2.4 模型融合 1 问题定义这是典型的数据类型不平衡问题。比如对于一个二分类任务，训练集中类别为0的负样本占样本总数的90%，而正样本只占10%。那么这样的训练集有什么弊端呢？如果类别不平衡的样本直接丢给模型学习，那么很显然模型会在负样本上的学习效果更好，因为模型‘看到’的负样本更多。举个栗子，就像你如果花9天时间去学习数学，花一天时间去学习语文，不出意外你会在数学考试中表现更好。那么对于类别不平衡的训练集，该如何处理呢？

0. 问题背景及解决方法类别不平衡问题类别不平衡问题，顾名思义，即数据集中存在某一类样本，其数量远多于或远少于其他类样本，从而导致一些机器学习模型失效的问题。例如逻辑回归即不适合处理类别不平衡问题，例如逻辑回归在欺诈检测问题中，因为绝大多数样本都为正常样本，欺诈样本很少，逻辑回归算法会倾向于把大多数样本判定为正常样本，这样能达到很高的准确率，但是达不到很高的召回率。 ...

高通开发者论坛

4,654

社区成员

5,842

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章