问下，我在eclipse执行spark程序程序执行到shuffle卡住了怎么办？

[shiyuexx]

问下，我在eclipse执行spark程序程序执行到shuffle卡住了怎么办？

[咕泡-星云]

以下内容供参考：
1.部分task执行慢，是由于shuffle性能影响，调整shuffle参数规避。

spark.shuffle.file.buffer=64k
spark.reducer.maxSizeInFlight=96M
spark.network.timeout=300s
spark.rpc.askTimeout=300s
spark.shuffle.io.serverThreads=8

2.不排除网络问题的影响，试图调整os参数，但是客户生产

net.ipv4.tcp_keepalive_time= 15
net.ipv4.tcp_keepalive_probes = 10
net.ipv4.tcp_keepalive_intvl= 30

3.关闭sasl

spark.authenticate.enableSaslEncryption=false
spark.authenticate=false