求教一个解决方法，打算想多个spark作业并发，不知道哪种比较好？

[deepthinkers]

首先是，打算shell中写脚本然后，用crontab。
或者说用scala的akka的actor实现多线程这种的。
或者说用其他什么办法，总感觉想要多个这种scala的sparksql并发，没有什么太好的办法，正在考虑用oozie，有没有有这方面经验的同仁来点意见。参考一下。

[LinkSe7en]

首先，初始化SparkContext是个很重型的工作，特别是有些数据需要预热（加载到内存）的情况； 其次，SparkContext是线程安全的，可以多线程调用； 第三，配置好DynamicAllocation和调度资源池可以多个Job并发执行；

[deepthinkers]

感谢~~~打算用串行跑spark作业。并发就不考虑了

[一只螺丝钉]

引用 1 楼 link0007 的回复:

首先，初始化SparkContext是个很重型的工作，特别是有些数据需要预热（加载到内存）的情况；
其次，SparkContext是线程安全的，可以多线程调用；
第三，配置好DynamicAllocation和调度资源池可以多个Job并发执行；

您好，请问具体怎么在一个spark application中进行多个job并发执行呢？急求啊！需要改源码吗？

[LinkSe7en]

引用 3 楼 qq_24380005 的回复:

[quote=引用 1 楼 link0007 的回复:] 首先，初始化SparkContext是个很重型的工作，特别是有些数据需要预热（加载到内存）的情况； 其次，SparkContext是线程安全的，可以多线程调用； 第三，配置好DynamicAllocation和调度资源池可以多个Job并发执行；

您好，请问具体怎么在一个spark application中进行多个job并发执行呢？急求啊！需要改源码吗？[/quote] 如果是spark standalone集群部署，参阅http://spark.apache.org/docs/latest/configuration.html#dynamic-allocation 并根据你自己的集群情况对spark-default.properties进行调整配置。如果是yarn，参阅yarn的queue。

[妖果yaoyao]

这一块儿我完成了，用的是scala里线程池的方式，通过oncomplete回调方式实现作业的关停