spark用于机器学习进行数据建模，用python写可以完成吗？

科科科ke 2016-06-12 05:01:04

spark在用于机器学习进行数据建模时，用python写可以完成吗？写起来容易吗？求解啊

...全文

993 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

dingybin 2016-06-14

打赏
举报

回复

可以参考一下链接： Spark编程指南——Python版 http://www.csdn.net/article/2015-04-24/2824552

dingybin 2016-06-14

打赏
举报

回复

spark在用于机器学习进行数据建模时，可以用python。不论是Hadoop还是spark都有python的高级接口。 Python在机器学习方面的的package有scikit-learn, libsvm；scikit learn不仅文档清晰，而且常用的算法均有实现。 python的优势不在于运行效率，而在于开发效率和高可维护性。需要针对特定的问题挑选合适的工具，如果是数据载入和分发，用python是很高效的；如果是求一些常用的统计量和求一些基本算法的结果，python也有现成的高效的库；如果是纯粹自己写的算法，没有任何其他可借鉴的，什么库也用不上，用纯python写是自讨苦吃。

alinly 2016-06-13

打赏
举报

回复

看spark官方文档, 有python,scala,java的接口.

《Python+Spark 2.0+Hadoop机器学习与大数据实战》是一本由林大贵所著，清华大学出版社于2018年1月1日出版的书籍。该书主要介绍了Python、Spark 2.0和Hadoop在机器学习与大数据实战中的应用。从内容上看，该书首先介绍了大数据和机器学习的基本原理，包括分类、分析、训练、建模、预测、机器学习（推荐引擎）、机器学习（二元分类）、机器学习（多元分类）、机器学习（回归分析）和数据可视化应用等基本概念。然后，书中通过实战案例，详细讲解了如何使用Python开发Spark机器学习与大数据应用，如何安装和配置Hadoop单机集群和多机集群，如何使用Hadoop HDFS命令等。该书不仅加入了新近的大数据技术，还丰富了“机器学习”的内容，使得读者能够更好地理解大数据和机器学习的关系，以及如何在实践中应用这些技术。此外，书中介绍的上机实践平台并不限制于单台实体计算机，使得读者可以在不同的环境下进行学习和实践。总的来说，《Python+Spark 2.0+Hadoop机器学习与大数据实战》是一本适合对大数据和机器学习感兴趣的读者阅读的书籍，特别是对于那些希望在

分享课程——Spark 2.x + Python 大数据机器学习实战课程，完整版视频课程下载。本课程系统讲解如何在Spark2.0上高效运用Python来处理数据并建立机器学习模型，帮助读者开发并部署高效可拓展的实时Spark解决方案。本课程从浅显易懂的“大数据和机器学习”原理说明入手，讲述大数据和机器学习的基本概念，如分析、分类、训练、建模、预测、推荐引擎、二元分类、多元分类、回归分析和Pipeline等；为降低学习大数据技术的门槛，提供了丰富的案例实践操作和范例程序编码，展示了如何在单机Windows系统上建立Spark 2.x + Python开发环境；适合于学习大数据基础知识的初学者，更适合正在使用机器学习想结合大数据技术的人员；

spark python big data

spark程序开发，运用python语言，英文原版，绝对值得拥有和学习！！！

Spark大数据分析技术（Python版）--配套PPT、数据集、源代码和教学大纲(2)。书本编号9787302625520

744

社区成员

901

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章