MapReduce并行实现决策树求解

寻找奇迹 2014-05-21 06:27:14
谁能讲讲MapReduce并行实现决策树的具体流程？现在我所实现的决策树只是通过MapReduce来计算特征属性的增益率或是基尼指数而已，感觉离并行还差得很远，网上也找了不少资料参考，但是感觉说的都比较泛，都是比较大的实现过程，我想请教下做过相关方面的大牛，说说具体的实现流程，不甚感激啊。
...全文
747 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
人生偌只如初见 2014-05-24
  • 打赏
  • 举报
 回复
一个大数据集的文件，拆分成N个小数据集文件，然后计算当前小数据集文件的最佳分割属性与分割点，之后汇总N个小数据集文件的最佳划分，投票选出最佳划分。N个小数据集的节点根据最终的最佳划分，分割自己节点上的数据，继续计算当前小数据集文件的最佳分割属性与分割点。如此递归下去，直到满足停止条件为止。我是这样理解的，不知道对你有帮助没有？我也是一枚刚接触这个的菜鸟。期待大牛回答。
寻找奇迹 2014-05-23
  • 打赏
  • 举报
 回复
没有人关注吗？
深入浅出大数据核心技术与应用--MapReduce及应用案例实践
该部分主要讲解MapReduce的实现原理及应用案例实践
mapreduce 去重的问题怎么解决
  登录 | 注册     http://bbs.csdn.net/topics/390811736?page=1#post-397617777   返回列表 管理菜单 结帖 发帖 回复 关注 mapreduce 去重的问题怎么解决？ [问题点数：40分] 快速回复只显...
【机器学习】机器学习算法求解更大规模的旅行商问题
『』原创作者：张云天，王飞龙，孙楚天，杨李平，曲晨辉编者按针对旅行商问题 (Traveling Salesman Problem, TSP) ，现有的基于监督学习的求解算法因泛化能力弱而受限。为了克服这一局限性，本文试图以监督学习的方式训练一个小规模的模型，并基于一系列的技术，如图采样、图转换和图合并，为任意规模的TSP构建热力图。进一步地，热力图被输入强化学习算法，具体为蒙特卡洛树搜索，以指导高...
数据结构与算法分析（十八）--- 如何使用动态规划高效寻找最优解？
对于多阶段决策问题，我们使用回溯剪枝算法虽然可以穷举所有可行解，但复杂度太高阶。现实问题通常只关注最优解，针对多阶段决策最优解问题，我们可以使用动态规划算法大幅降低求解复杂度。动态规划的核心是划分阶段和可供决策的状态，然后找到阶段递推的状态转移方程，以便从初始状态递推到目标最优解。由于动态规划后面阶段的最优解通常跟前一阶段多个状态相关，因此存在大量的重叠子问题，通常使用备忘录或状态转移表解决重叠子问题重复求解的问题。如果后面阶段的最优解跟前面阶段无关，只需要选择最快逼近目标值的状态分支，可用贪心算法更高效。
Hadoop 生态圈及核心组件简介Hadoop|MapRedece|Yarn
大数据Hadoop、mapreduce、yarn，Hadoop生态圈总结，侠义上Hadoop指的是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件HDFS:分布式文件存储系统，解决海量数据存储YARN:集群资源管理和任务调度框架，解决资源任务调度MapReduce:分布式计算框架，解决海量计算广义上Hadoop指的是围绕Hadoop打造的大数据生态圈Hadoop集群包括两个集群：HDFS集群、YARN集群。
Hadoop生态社区

20,808

社区成员

4,691

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章