基于Spark的交互式数据预处理系统下载

眼镜333 今日头条 工程师  2018-06-22 02:37:43
高质量的决策依赖于高质量的数据,数据预处理是数据挖掘至关重要的环节.传统的数据预处理系统并不能很好的适用于大数据环境,企业现阶段主要使用Hadoop/Hive对海量数据进行预处理,但普遍存在耗时长、效率低、无交互等问题.提出了一种基于Spark的交互式数据预处理系统,系统提供一套通用的数据预处理组件,并支持组件的扩展,数据以电子表格的形式展现,系统记录用户的处理过程并支持撤销重做.本文从数据模型、数据预处理操作、交互式执行引擎以及交互式前端四个方面描述了系统架构.最后使用医疗脑卒中的真实数据对系统进行验证,实验结果表明,系统能够在大数据场景下满足交互式处理需求.
相关下载链接://download.csdn.net/download/qq_28339273/10493031?utm_source=bbsseo
...全文
50 点赞 收藏 回复
写回复
回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
相关推荐
发帖
下载资源悬赏专区
创建于2007-03-31

8943

社区成员

CSDN 下载资源悬赏专区
申请成为版主
帖子事件
创建了帖子
2018-06-22 02:37
社区公告
暂无公告