Spark稳定性怎么样？

[程序咖要少喝]

Spark稳定性怎么样？有的人说在长任务中容易出问题，是吗？？

[alinly]

我使用了,没有遇到spark自己的问题, 要么是程序有问题.

[dingybin]

可以参考一下链接： Spark编程指南——Python版 http://www.csdn.net/article/2015-04-24/2824552

[dingybin]

Spark是小数据集上处理复杂迭代的交互系统，每次迭代的数据可以保存在内存中，而不是写入文件，数通过在内存中缓存数据，提高迭代式计算的性能。Spark并不擅长大数据集，稳定性也相对差一些。 处理大规模数据而言，Hadoop MapReduce更擅长一些，MapReduce存盘的好处是允许继续在失败的数据上继续跑，所以直观上说MapReduce作为引擎更稳健。但理论上来说，如果选择在每个完成的小步骤上加CheckPoint，那Spark完全能和现在的MapReduce达到一样的稳健。