745
社区成员
发帖
与我相关
我的任务
分享spark用于机器学习进行数据建模，用python写可以完成吗？
spark在用于机器学习进行数据建模时，用python写可以完成吗？写起来容易吗？求解啊
...全文
请发表友善的回复…
发表回复
dingybin 2016-06-14
- 打赏
- 举报
可以参考一下链接：
Spark编程指南——Python版
http://www.csdn.net/article/2015-04-24/2824552
dingybin 2016-06-14
- 打赏
- 举报
spark在用于机器学习进行数据建模时，可以用python。
不论是Hadoop还是spark都有python的高级接口。
Python在机器学习方面的的package有scikit-learn, libsvm；scikit learn不仅文档清晰，而且常用的算法均有实现。
python的优势不在于运行效率，而在于开发效率和高可维护性。需要针对特定的问题挑选合适的工具，
如果是数据载入和分发，用python是很高效的；如果是求一些常用的统计量和求一些基本算法的结果，python也有现成的高效的库；如果是纯粹自己写的算法，没有任何其他可借鉴的，什么库也用不上，用纯python写是自讨苦吃。
alinly 2016-06-13
- 打赏
- 举报
看spark官方文档,
有python,scala,java的接口.
