spark可以和python一样在自己的电脑上做单机数据分析和机器学习吗？

1033856 2016-05-17 10:07:44

spark可以和python一样在自己的电脑上做单机数据分析和机器学习吗，性能和直接python的库比会怎么样呢？求大神解答一下。。。

...全文

627 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

LinkSe7en 2016-05-18

打赏
举报

回复

Spark是分布式计算框架。既然是分布式的，你认为呢？单机调试是可以，不过性能估计比你普通的单机程序要低。 Spark的核心理念是由若干个数据集，通过你的代码描述关系逻辑，生成一个新的数据集，直到产生你想要的数据。这种概念是为了应对海量数据的分析与处理。既然是海量，那肯定是TB以上级别。TB以上的数据你单机怎么处理？要写一大堆优化代码吧？Spark为你优化了大部分底层的东西。另外Spark另一个卖点是流式处理。也就是近线/在线的大数据分析处理。

分享课程——Spark 2.x + Python 大数据机器学习实战课程，完整版视频课程下载。本课程系统讲解如何在Spark2.0上高效运用Python来处理数据并建立机器学习模型，帮助读者开发并部署高效可拓展的实时Spark解决方案。本课程从浅显易懂的“大数据和机器学习”原理说明入手，讲述大数据和机器学习的基本概念，如分析、分类、训练、建模、预测、推荐引擎、二元分类、多元分类、回归分析和Pipeline等；为降低学习大数据技术的门槛，提供了丰富的案例实践操作和范例程序编码，展示了如何在单机Windows系统上建立Spark 2.x + Python开发环境；适合于学习大数据基础知识的初学者，更适合正在使用机器学习想结合大数据技术的人员；

系统语言 SystemML是一种用Java编写的灵活，可扩展的机器学习（ML）语言。 SystemML的区别特征是：（1）算法可定制性；（2）多种执行模式，包括独立，Hadoop Batch和Spark Batch；以及（3）自动优化。可以在网站上找到最新的文档。算法可定制性 SystemML中的ML算法以高级的声明式机器学习（DML）语言指定。可以使用R类语法或Python类语法来表示算法。 DML包括线性代数基元，统计函数和其他构造。这种高级语言极大地提高了数据科学家的生产率，因为它提供了（1）表达自定义分析的完全灵活性，以及（2）与底层输入格式和物理数据表示形式的数据独立性。多种执行模式 SystemML计算可以以多种不同的模式执行。首先，SystemML可以在单机上以独立模式运行，从而使数据科学家无需分布式集群即可在本地开发算法。算法可以分布在Hadoop

根据图识，项目将分为三个部分。整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase，然后通过ETL工具初步转化筛选将数据存到mongodb，抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习，前端采用React Native，Native，后端采用Dubbo+Spring+java，机器学习采用Spark进行实现，本项目机器学习-spark代码运行在mesos上。本课程我们只针对以上图示的浅蓝色部分内容（即与机器学习相关的内容），通过用真实的智能客户项目系统作为案例（案例附带源码，可以直接做二次开发），主要根据项目实例穿讲机器学习以及相关知识，包括有：数据提取，数据清洗以及分词，数据特征值提取、机器学习模型计算、数据分类等等，进行详细讲解。本课程所需掌握的技术：java、scala、IK、Hdfs、Spark ml、Spark Streaming、Spark SQL、Kafka、Zookeeper、Mongodb、Spring-Data-Mongodb，由于每个技术需要掌握的程度不一样，对于我们用到的一些开源技术，课程中将会是简单介绍如何使用，不会着重讲解。课程重点讲解spark ml、spark Streaming，以及如何使用这些技术进行项目的实战，贯穿项目系统并且最后串联所有技术。spark基于2.0.1版本讲解

Spark2.x+Python大数据机器学习实战视频教程提取码：6o68机器学习是近二十来年兴起的多领域学科，机器学习算法可从数据中建立模型，并利用模型对未知数据进行预测。机器学习技术不断进步，应用相当广泛，例如推荐引擎、定向广告、需求预测、垃圾邮件过滤、医学诊断、自然语言处理、搜索引擎、诈骗侦测、证券分析、视觉辨识、语音识别、手写识别等。为什么近年来机器学习变得如此热门，各大公司都争相投入？因为...

Spark机器学习的介绍，以及对聚类、回归、协同过滤和分类的实践

742

社区成员

901

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章