Apache Mahout和Apache Spark's MLib的不同之处是什么？

[ElastiCache]

考虑到一个MySQL数据库有1000万产品的电子商务网站。 我试图建立一个分类模块来进行产品分类，使用Apache Sqoop把MySQL数据导入到Hadoop。使用Mahout作为一个机器学习框架，并使用该框架中的分类算法，Spark中提供了MLlib，在这里有两个问题：
1. 这两种框架有什么不同？
2. 主要的优势、缺点以及每个的局限性

[yiming_21]

它们主要的区别将来自底层的框架。若Mahout主要是Hadoop MapReduce框架，而MLib则是Spark。更具体的说就是它们工作负载的差异。如果将你的ML算法映射到单一的MR时，它们主要的区别是启动所耗费的时间，Hadoop MR需要耗费几十秒，而Spark仅仅只需要1秒钟。 倘若将你的算法映射到大量的任务的时候则会有很大的不同，在这种情况下，倘若对于每次迭代具有相同的差异，请看下面的例子 假设需要100次迭代，每次需要CPU运行5秒： Spark：总共需要花费100*5+100*1=600秒 Hadoop：总共需要花费100*5+100*30=3500秒 在同一时间的Hadoop MR是更加成熟的框架，其次是Spark。如果你有大量的数据需要处理，那么稳定则是最重要的，这里可以考虑Mahout作为替代的选择。