Hadoop MapReduce 如何实现决策树或者随机森林？

寻找奇迹 2014-05-19 06:18:04

最近工作上需要用MapReduce来实现一个随机森林，数据集里面的每条记录特征属性非常多，大概在一万左右，但是不是每条记录都包含所有特征属性的，想问有人用hadoop mapreduce 实现过决策树或随机森林吗？

...全文

796 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

寻找奇迹 2014-05-19

打赏
举报

回复

[quote=引用 1 楼 wulinshishen 的回复:] Mahout 里面有决策树与随机森林的功能，官网有样例。[/quote 能具体说明一下整个并行执行的流程吗？

人生偌只如初见 2014-05-19

打赏
举报

回复

Mahout 里面有决策树与随机森林的功能，官网有样例。

Hadoop mapreduce 实现MR_DesicionTreeBuilder 决策树

概要：本研究基于Hadoop平台对决策树分类算法进行了并行化处理，旨在提高计算效率和扩展性。通过引入MapReduce编程模型，实现了在大规模数据集上的高效处理，显著提升了分类效率。适用人群：本资源适用于数据科学家、机器学习工程师和对大数据处理有需求的专业人士。同时，也适合对并行算法和分布式计算感兴趣的学术研究者。使用场景及目标：该资源可应用于大规模数据集上的决策树分类任务，如广告点击率预测、电子商务用户行为分析等领域。通过并行化处理，可以提高分类效率，加快模型训练速度，提升算法性能和准确度。其他说明：本研究提供了基于Hadoop的决策树分类算法并行化处理的解决方案，适合于需要在大数据环境下进行机器学习任务的应用场景。通过利用分布式存储和计算框架，可以有效地处理大规模数据集，提高算法的实时性和准确性。欢迎对大数据处理和机器学习算法优化感兴趣的专业人士和研究者使用并参考该资源。

人工智能-Hadoop

人工智能-hadoop

在Hadoop大数据平台的基础上构建了一个基于MapReduce框架并行化的C4.5决策树算法，并采用此算法设计了一套银行贷款的风险预测系统。算法结合MapReduce框架、HDFS 文件存储系统，使用Java语言编写，根据贷款人的各个特征属性信息增益率来选择决策点。其中包含对连续值属性、离散值属性的处理，采用后剪枝悲观剪枝的方法对决策树进行剪枝，以避免决策树出现过拟合的特征。系统包含数据导入、数据分析、结果展示等模块，操作简单、快捷，能准确预测贷款人的信誉情况，平均准确率达到65%~80%，而且与传统的决策树模型相比在性能方面有更好的提升。

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章