社区
Spark
帖子详情
spark解惑
jim123
2015-03-31 11:36:11
最近经常看到spark的新闻。
本人不懂,搜索了很多结果,还是不懂。
求解惑。 在哪些场合使用以及其作用。
PS: openstack juno 也支持spark的特性, 云计算火爆,spark火爆。故关注一下。
...全文
110
1
打赏
收藏
spark解惑
最近经常看到spark的新闻。 本人不懂,搜索了很多结果,还是不懂。 求解惑。 在哪些场合使用以及其作用。 PS: openstack juno 也支持spark的特性, 云计算火爆,spark火爆。故关注一下。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
spark
商业实战三部曲
基于*的
Spark
2.2.X版本,分为内核解密篇,商业案例篇,性能调优篇,共31章,学习过程中有任何疑问,可加入群,有专业人员答疑
解惑
。 目 录 上篇 内核解密 章 电光石火间体验
Spark
2.2开发实战... 2 1.1 通过RDD实战电影点评系统入门及源码阅读... 2 1.1.1
Spark
核心概念图解... 2 1.1.2 通过RDD实战电影点评系统案例... 4 1.2 通过DataFrame和DataSet实战电影点评系统... 7 1.2.1 通过DataFrame实战电影点评系统案例... 7 1.2.2 通过DataSet实战电影点评系统案例... 1.3
Spark
2.2源码阅读环境搭建及源码阅读体验... 11 第2章
Spark
2.2技术及原理... 14 2.1
Spark
2.2综述... 14 2.1.1 连续应用程序... 14 2.1.2 新的API 15 2.2
Spark
2.2 Core. 16 2.2.1 第二代Tungsten引擎... 16 2.2.2
Spark
Session. 16 2.2.3 累加器API 17 2.3
Spark
2.2 SQL. 19 2.3.1
Spark
SQL. 20 2.3.2 DataFrame和DatasetAPI 20 2.3.3 Timed Window.. 21 2.4
Spark
2.2 Streaming. 21 2.4.1 StructuredStreaming. 21 2.4.2 增量输出模式... 23 2.5
Spark
2.2 MLlib. 27 2.5.1 基于DataFrame的MachineLearning API 28
code-of-
spark
-big-data-business-trilogy:这是书“
Spark
大数据业务三部曲”的代码
Spark
大数据商业实战三部曲:内核解密|商业案例|性能调优第二版王家林,段智华着基于最新的
Spark
2.4.X版本,分为内核解密篇,商业案例篇,性能调优篇和
Spark
+AI解密篇,共32章,学习过程中有任何疑问,可加入QQ群418110145,有专业人员答疑
解惑
。 王家林,Apache
Spark
执牛耳者现工作于硅谷的AI实验室,专注于NLP框架超过20本
Spark
、Al、Android书籍作者Toastmasters International Division Director GRE博士入学考试连续两次满分获得者 段智华,就职于中国电信股份有限公司上海分公司,系统架构师,CSDN博客专家,专注于
Spark
大数据技术研发及推广,跟随
Spark
核心源码技术的发展,深入研究
Spark
2.1.1版本及
Spark
2.2. 0版本的源码优化,对
Spark
大数据处理、机器学习等技术有丰富
Spark
on Yarn
解惑
一:Hadoop Yarn解析 1,Yarn是Hadoop推出整个分布式(大数据)集群的资源管理器,负责资源的管理和分配,基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架,例如
Spark
、MapReduce、Storm等; 2,Yarn基本工作流程如下图所示: 注意:Container要向NodeManager汇报资源...
Spark
执行原理
解惑
Spark
运行原理写好的程序(jar包)又叫驱动程序,提交后,会根据里面的参数生成
spark
上下文,然后根据里面rdd的处理方式,产生一个有向无环图,将这个图广播到集群的每个客户端,客户端进行rdd的相应处理,如果是转换操作的则只记录操作步骤并不实际转换,如果是行为操作如count函数,则会实际操作这个行动并且将行为操作的返回值(如long list等)返回给驱动程序。驱动程序的概念理解https:
spark
初始 (一)
spark
初识(一): 1、官网的
spark
包中pre-build with user provider与pre-build for Apache hadoop3.2什么区别? 2、
spark
是否使用是否必须安装hadoop? 3、第一个wordcount例子提交集群 开始
解惑
(单纯个人理解): 1、
spark
的下载包区别,
spark
是否使用是否必须安装hadoop? 我的理解是两个包(with user provider与没有)区别不是太大,假如 使用搭建
spark
集群的话都能使用,注意版本是否与had
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章