-
等级
本版专家分：0结帖率 40% -
spark在用于机器学习进行数据建模时，用python写可以完成吗？写起来容易吗？求解啊
展开阅读全文
-
等级
本版专家分：1363 -
看spark官方文档,
有python,scala,java的接口.
-
等级
本版专家分：50
-
spark在用于机器学习进行数据建模时，可以用python。
不论是Hadoop还是spark都有python的高级接口。
Python在机器学习方面的的package有scikit-learn, libsvm；scikit learn不仅文档清晰，而且常用的算法均有实现。
python的优势不在于运行效率，而在于开发效率和高可维护性。需要针对特定的问题挑选合适的工具，
如果是数据载入和分发，用python是很高效的；如果是求一些常用的统计量和求一些基本算法的结果，python也有现成的高效的库；如果是纯粹自己写的算法，没有任何其他可借鉴的，什么库也用不上，用纯python写是自讨苦吃。
-
等级
本版专家分：50
-
可以参考一下链接：
Spark编程指南——Python版
http://www.csdn.net/article/2015-04-24/2824552
- 博客目录与概览
《深入理解机器学习》不仅仅把目光局限机器学习算法的推导与实现，更多的会将目光聚焦于从数学、统计学以及统计学习的角度来深入理解机器学习算法，除此之外，我还会讨论各个机器学习算法局限与瓶颈，纵横向比较各种...
- 如何自学人工智能？——知乎回答，持续更新ing
********************************2018.12.1更新******************************** 转行学AI，如何选择适合的方向 ... ********************************2018.11....
- Spark组件介绍
Spark简介Spark可以独立于Hadoop单独运行Spark的设计理念 交互式和迭代式 在集群多点内存中运行的分布式计算 容错数据集合 同时Spark还支持使用不同的语言编程(Java,Scala,R,Python) 可以从不同的数据源获取...
- python开发大全、系列文章、精品教程（转）
文章目录1、简介2、分享3、python基础教程4、python应用教程5、python后台架构Django教程6、python自动化测试教程7、python网络爬虫教程8、python数据分析存储教程9、python可视化教程10、python爬虫助手11、python...
- 最好用的20个python库，这些你知道吗？
来源-网络大数据 | 整理-数据派THU Python 在解决数据科学任务和挑战方面继续处于领先地位。去年，我们曾发表一篇博客文章 Top 15 Python Libr...
- 详解 jupyter notebook 集成 spark 环境安装
来自： 代码大湿 代码大湿1 相关介绍 ...用途包括：数据的清洗和转换、数值模拟、统计建模、机器学习和更多。支持40多中语言。python ，R，go，scala等。 Spark是UC Berkeley AMP lab所开源的类Hadoop MapRed
- 数据专家必知必会的 7 款 Python 工具
(点击上方蓝字，快速关注我们)英文： Dynelle Abeyta 译文： oschinawww.oschina.net/translate/seven-python-tools-all-data-scientists-should-know-how-to-use?print#rd如果你有志于做一个数据专家，你就应该...
- 机器学习开源算法库
机器学习开源算法库
- 人工智能之路
1、3年工作经验，本科及以上学历，计算机、机器学习，数学和模式识别相关专业； 2、扎实的机器学习功底，熟悉常见算法如协同过滤、GBDT、SVD、LDA、LearningToRank、word2vec、深度学习等，并有丰富实战经验； 3、...
- 大数据开发学习，大数据学习路线（完整详细版）
很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：199427210，有大量干货（零基础以及...
- 机器学习和深度学习的最佳框架大比拼
机器学习和深度学习的最佳框架大比拼 在过去的一年里，咱们讨论了六个开源机器学习和/或深度学习框架：Caffe，Microsoft Cognitive Toolkit（又名CNTK 2），MXNet，Scikit-learn，Spark MLlib和TensorFlow。如果把...
- 史上最全的机器学习资料（下）
摘要： 机器学习牵涉的编程语言十分之广，包括了MATLAB、Python、Clojure、Ruby等等。为了让开发者更加广泛、深入地了解机器学习，云栖社区组织翻译了GitHub Awesome Machine Learning 资源，涵盖24种编程语言的...
- 顶级大数据处理框架
摘要讨论了五个大数据处理框架：Hadoop，Spark，Flink，Storm，Samaza如今大量数据不断产生，去纠结具体多大才算大数据没什么意义。 就像“人工智能”一样，大数据这个词的具体含义是变化的。几十年前对人工智能的...
- 国外牛人总结的机器学习领域的框架、库以及软件
本文汇编了一些机器学习领域的框架、库以及软件（按编程语言排序）。 C++计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库，新颖的机器视觉库 OpenCV—它提供C++, C, Python, Java 以及 MATLAB接口，并支持...
- 机器学习算法线上部署方法
作者：潘鹏举，携程酒店研发BI经理，负责酒店服务相关的业务建模工作，主要研究方向是用机器学习实现业务流程自动化、系统智能化、效率最优化，专注于算法实践和应用。 我们经常会碰到一个问题：用了复杂的GBDT...
- Python : 常用算法库简介
数据分析统计数据： （1） NumPy：NumPy 是科学应用程序库的主要软件包之一，用于处理大型多维数组和矩阵，它大量的高级数学函数集合和实现方法使得这些对象执行操作成为可能。 （2）PanDas：Pandas 是一个 Python...
- 史上最全的机器学习资料
摘要： 机器学习牵涉的编程语言十分之广，包括了MATLAB、Python、Clojure、Ruby等等。为了让开发者更加广泛、深入地了解机器学习，云栖社区组织翻译了GitHub Awesome Machine Learning 资源，涵盖24种编程语言的...
- 给师弟师妹们学习数据挖掘的一些建议
看着刚进实验室的师弟师妹们的迷茫，虽然也与他们进行过一些...因此，根据自己的经历给出学习数据挖掘的一些建议，大家可以根据自身的情况，具体问题具体分析，作为参考。希望在上一届的基础上，走的更深，走的更远。
- 科普：大数据、人工智能、机器学习与深度学习都是什么？有什么关系？
导读：大数据、人工智能是目前大家谈论比较多的话题，它们的应用也越来越广泛、与我们的生活关系也越来越密切，影响也越来越深远，其中很多已进入寻常百姓家，如无人机、网约车、自动...
- Python学习总结（1）——Python知识清单（基础知识&数据科学）
用Python帮助你抢红包 用 Python 描述 Cookie 和 Session 用Python开发贪吃蛇小游戏 用Python生成抖音字符视频！ 用Python开发计时器程序 新一代云原生监控系统 Prometheus实践 为你的Python程序加密 asyncio...
- [机器学习]机器学习资源大全中文版
机器学习资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-machine-learning 就是 josephmisiti 发起维护的机器学习资源列表，内容包括了机器学习领域的框架、库以及...
- 10分钟读懂人工智能、机器学习到底有什么关系
人工智能的浪潮正在席卷全球，诸多词汇时刻萦绕在我们耳边：人工智能（Artificial Intelligence）、机器学习（Machine Learning）。不少人对这些高频词汇的含义及其背后的关系总是似懂非懂、一知半解。 为了帮助...
- 机器学习资源大全
国外程序员整理的机器学习资源大全 本列表选编了一些机器学习领域牛B的框架、库以及软件（按编程语言排序）。 C++ 计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库，新颖的机器视觉库 ...
- Python库资源大全
本文是一个精心设计的Python框架、库、软件和资源列表，是一个Awesome...对机器学习、深度学习在量化投资中应用感兴趣的朋友可以直接在BigQuant人工智能量化投资平台上开发策略~~~ 本文目录： 算法和设计模型
- 史上最简单的spark分布式计算教程第一章-快速运行你的第一个spark程序
快速入门spark: 史上最简单的spark教程 所有代码示例地址:https://github.com/Mydreamandreality/sparkResearch (提前声明:文章由作者:张耀峰结合自己生产中的使用经验整理,最终形成简单易懂的文章,写作不易,...
- 大数据，人工智能，深度学习，机器学习课程收集
机器学习类课程：机器学习算法、深度学习算法基础及项目 深度学习类课程：Tensorflow、自然语言处理、机器视觉 2017大数据类系列课程1-Kaggle实战 链接：...
- 国外程序员整理的机器学习资源大全
原文链接： awesome-machine...本文汇编了一些机器学习领域的框架、库以及软件（按编程语言排序）。 C++ 计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库，新颖的机器视觉库OpenCV—它提供C++, C, Py
- Github上的十大机器学习项目
开源软件是数据科学很重要的一部分。 ...互联网上有着各式各样的这类工具，而Github事实上则...机器学习在数据科学界的重要性和中心地位已经不言而喻。 下图是Github十大机器学习项目的概览。 1. Scikit-le
- 对比java和python对比
java远优于标准python，pypy和cython可以追赶java，但是两者都没有成熟到可以做项目的程度。 4.可用资源。java一抓一大把，python很少很少，尤其是中文资源。 5.稳定程度。python3和2不兼容，造成了一定程度上...
- [转发]机器学习资源大全
机器学习资源大全 本列表选编了一些机器学习领域牛B的框架、库以及软件（按编程语言排序）。 C++ 计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库，新颖的机器视觉库 OpenCV—它提供C++,...