spark怎么开发任务方便

[y1006597541]

请教一下大家spark任务都是怎么开发的，现在我是在本地写好任务然后放到集群上测试的，这样子开发速度慢，请教一下大家在开发的时候都用什么手段。
问题一：大家怎么开发spark任务，比如记得有些人提过在大数据集群内网安装ubuntu系统，在上面安装idea；或者idea远程连接大数据集群开发？
问题二：spark-streaming该怎么开发方便，spark任务还能在spark shell里面一步步来，spark-streaming不能debug吗？

[西門吹牛__Linux]

Spark任务快速开发的话，Zeppelin了解一下，持久化的SparkContext，直接敲代码运行。

[伟大的一校之长]

不知道你所谓的方便是指什么意思,只是单纯说代码变少了,还是说开发起来更简单,如果说开发的话还是在Linux上面最方便,我现在是在ubuntu系统上装了一个idea开发