YARN で実行するように Spark ジョブサーバーを構成しました。Spark ジョブを YARN に送信できますが、ジョブが終了しても YARN で終了しません
例: シンプルなスパーク コンテキストを作成しようとしました。コンテキストは jobserver に反映されていますが、YARN はまだプロセスを実行しており、タスクを手動で強制終了する必要があります。
糸仕事
スパーク コンテキスト
ジョブ サーバーはコンテキストを反映しますが、ジョブ サーバーでタスクを実行しようとするとすぐにエラーが発生します
{
"status": "ERROR",
"result": "context test-context2 not found"
}
私のSpark UIもあまり役に立ちません
