数据清洗方法论

大王巡巡山 2018-03-02 03:29:58

关于数据清洗，欢迎大家积极讨论，交流

...全文

509 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

shiter 2018-03-18

打赏
举报

回复

搞大数据的话，数据清洗是个大工程

KETTLE中文版的详细使用文档，含数据清洗方法论，适合入门和进阶使用，含一定案例。

相关文献指出低质量的RFID原始数据，特别是大量的冗余数据制约了RFID技术的大规模应用，因此需要一种更有效的冗余数据清洗技术。文章根据RFID数据以及典型应用场景的特点，提出了一种多数据源冗余数据清洗技术，其中包括融合冗余数据清洗方法和交叉冗余数据清洗方法。融合冗余数据清洗方法基于滑动窗口与集合论，交叉冗余数据清洗方法借鉴了参考标签思想并且结合信号强度特征。实验证明，提出的数据清洗技术不但可以有效地完成RFID冗余数据清洗，同时能够为清洗后的数据保留准确的数据来源信息。

数据分析的流程在介绍数据分析方法论和思路之前，我们还是先不厌其烦地看一下数据分析的流程，简单来说分为以下六个步骤： 1、明确分析的目的，提出问题。只有弄清楚了分析的目的是什么，才能准确定位分析因子，提出有价值的问题，提供清晰的指引方向。 2、数据采集。收集原始数据，数据来源可能是丰富多样的，一般有数据库、互联网、市场调查等。具体办法可以通过加入“埋点”代码，或者使用第三方的数据统计工具。 ...

误差在时间序列数据中普遍存在，在工业领域尤为普遍。错误的数据无法存储在数据库中，导致数据资产丢失。目前，为了处理这些包含错误的时间序列，除了保留原始错误数据、丢弃错误数据和手动检查错误数据外，我们还可以使用数据库中广泛使用的清洗算法对时间序列数据进行自动清洗。本调查提供了时间序列数据清洗技术的分类，并全面回顾了每种类型的最先进的方法。此外，我们还总结了来自研究和行业的数据清理工具、系统和评估标准。最后，我们强调了时间序列数据清洗的可能方向。关键词：数据清洗，数据质量，时间序列。

数据清洗的概念以及常用的数据清洗的方法！

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章