Spark一般要求服务器多大内存？

熊川樘 2016-07-04 10:36:08

Spark一般要求服务器多大内存？我刚接触这方面，，求有经验的大神告知

...全文

1049 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

SongDongmei 2016-07-11

打赏
举报

回复

至少64G以上吧。

icesnow330 2016-07-07

打赏
举报

回复

4G的Spark能干啥？过家家？

LinkSe7en 2016-07-07

打赏
举报

回复

4G以上。视乎数据量与节点数量，纵向或者横向拓展

chyanch 2016-07-04

打赏
举报

回复

越大越好，一般128G吧

大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

在使用spark时，默认内存的分配为1GB，但是由于学习环境有限，服务器内存太小不能满足最小内存（1GB）。当在启动spark-shell后，可能过会儿就被kill掉了，比如: scala> bin/spark-shell: line 44: 9896 Killed ...

默认情况下，Spark程序运行完毕关闭窗口之后，就无法再查看运行记录的Web UI(4040)了，但通过 HistoryServer 可以提供一个服务, 通过读取日志文件, 使得我们可以在程序运行结束后, 依然能够查看运行过程。...

很多人认为Spark 将代替 Hadoop MapReduce，成为未来大数据处理发展的方向，MapReduce和Spark之间存在哪些区别？Spark会取代Hadoop吗？大数据技术学习为什么要既要学习Hadoop又要学习Spark？ Hadoop MapReduce： ...

Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。属于mapreduce的加强版本，结合了其优点而且spark是可以将数据保存在内存中。从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等...

742

社区成员

901

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章