5

スタンドアロン クラスタで Spark ジョブを実行していますが、しばらくすると GC に時間がかかり、恐ろしい赤色が表示され始めたことに気付きました。

利用可能なリソースは次のとおりです。

Cores in use: 80 Total, 76 Used
Memory in use: 312.8 GB Total, 292.0 GB Used

仕事の詳細:

spark-submit   --class com.mavencode.spark.MonthlyReports   
--master spark://192.168.12.14:7077   
--deploy-mode cluster   --supervise   
--executor-memory 16G --executor-cores 4 
--num-executors 18  --driver-cores 8 
--driver-memory 20G montly-reports-assembly-1.0.jar

ここに画像の説明を入力

GC 時間が非常に長くかかる問題を修正するにはどうすればよいですか?

4

1 に答える 1