缺失数据填充有什么好方法？

就不交话费 2016-03-05 08:13:58

我有一个数据集，想添加一个属性，这个属性的取值是1-30，我使用随机填充，感觉效果不太好，有什么其他的填充方法比较适合我这种情况吗？

...全文

1879 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

常见的缺失值填充方法有填充默认值、均值、众数、KNN填充、以及把缺失值作为新的label通过模型来预测等方式，为了介绍这几种填充方法的使用以及填充效果，本文将在真实数据集上进行简单比较。 1 数据集介绍: 数据集来源于天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测。该数据集共有1000条数据，特征共83维，加上id和label共85列，每维特征缺失数量范围为0~911。为了简单比较各种填充方...

首先对数据缺失的原因、类型以及处理方法做一个简单地总结，如下图所示：当缺失值的个数只占整体很小一部分的时候，可直接删除缺失值（行）。但是如果缺失值占比比较大，这种直接删除缺失值的处理方法就会丢失重要信息。直接删除法处理缺失值时，需要检测样本总体中缺失值的个数。Python中统计缺失值的方法如下（下面结合具体数据集，直接上代码）： 3. 前填充/后填充通常可以根据样本之间的相似性（中心趋势）填补缺失值，通常使用能代表变量中心趋势的值进行填补，代表变量中心趋势的指标包括平均值(mean)、中位数

在我们进行数据分析时，通常会遇到各种数据缺失的情况，针对这种情况我们该如何进行填补呢？ 1、人工填补该方法仅适用于小数据集，受个人因素影响。 2、平均值填补对某一列的缺失值，采用该列的平均值填充 df.fillna(method=a.mean(),inplace=True) 此处重点讲解一下fillna的参数，后面不做说明 fillna(value=None, method=...

如果想对股票停牌和周末的缺失数据进行填充，该如何操作？--对数据增采样，并插值 1.直接看例子，先建立一个时间序列的dataframe对象df，样子如下：可以看到这两行是间隔7天的数据，现在我想把这两个日期之间确实的数据行，增加到df对象中应该如何操作？ resample函数可以改变采样的频率，从而达到填充数据行的目的，这里使用，我们使用asfreq方法将其转换为高频度，达到新新增行的...

我们在进行模型训练时，不可避免的会遇到某些特征出现空值的情况，下面整理了几种填充空值的方法 1. 用固定值填充对于特征值缺失的一种常见的方法就是可以用固定值来填充，例如0，9999， -9999, 例如下面对灰度分这个特征缺失值全部填充为-99 data['灰度分'] = data['灰度分'].fillna('-99') 2. 用均值填充对于数值型的特征，其缺失值也可以用未缺失数据的均值填充，下面对灰度分这个特征缺失值进行均值填充 data['灰度分'] = data['灰度分'].fillna(d

数据库报表

6,108

社区成员

4,750

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章