Livy サーバーと連携するように Jupyter Noteook を構成し、PySpark ジョブを初期化しました。PySpark カーネルにログインすると、'sc' を実行するだけで Spark コンテキストを起動できます。以下を使用して、スパークコンテキストの構成を微調整できます
"session_configs":{
"driverMemory": "2000M",
"executorCores":2,
"queue!:"queue-name",
"conf": {
"spark.yarn.stagingDir": "staging-diretcory"}
}
起動したら、 sc.stop() を使用して破棄しようとしています。ステートメントはエラーなしで実行されていますが、例外は報告されていません。リソース マネージャーを見ると、コンテキストとアプリケーションがまだ実行されているように見えます。Spark 2.3 の使用
何か案は？