Spark要求的内存是多少？

bl2201 2016-05-17 10:12:28
请教大家一个简单的问题，wentSpark要求的内存是多少？
...全文
724 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
chyanch 2016-05-18
  • 打赏
  • 举报
 回复
Spark对硬件配置的需求没有统一规定，结合应用来分析。一般将内存配置比较大，256GB每机。
spark是什么？spark和MapReduce的区别？spark为什么比hive速度快？
1.spark的job输出结果可保存在内存中，而MapReduce的job输出结果只能保存在磁盘中，io读取速度要比内存中慢； 2.spark以线程方式运行，MapReduce以进程的方式运行，进程要比线程耗费时间和资源； 3.spark提供了...
Spark为何比MapReduce更快？Spark基于内存计算什么意思？
2 spark的很多操作是在内存进行，只有shuffle操作才会把数据落盘；mr的很多操作，包括shuffle，会把数据落盘 3 spark的shuffle阶段对中间结果文件建立有索引文件，读取更快；mr对中间文件没有建立索引文件； 4...
【Spark】Spark是什么？能干什么？有什么特点？
Spark是一种快速、通用、可扩展的大数据分析引擎...目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。
spark为什么速度快？
spark为什么速度快？...spark是将数据缓存到内存中，Spark计算的时候可以从内存中获取数据 缓存方式：persist、cache cache调用的是persist的默认方法，默认存储级别是内存 persist默认内存中存放
Spark2内存调优总结 - 内存划分 与 内存计算 与 调参方式
1.1 三部分：Spark内存、用户内存、预留内存 预留内存：300MB 固定 Spark内存和用户内存比例由参数spark.memory.fraction(默认0.75) 控制 计算公式： 假设：我们在submit提交参数设置 executor.memeory = 10G + 300...
Power Linux

742

社区成员

901

社区内容

发帖
与我相关
我的任务
社区描述
该论坛主要探讨Linux系统在IBM Power平台的安装、部署、应用开发等话题，并为网友们提供自由交流的平台。
社区管理员
  • Power Linux社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章