spark-submit (Spark 1.6.0) を使用して、Kerberos が有効になっている Cloudera クラスターで jar をテストしようとしています。実際、このコマンドを起動すると、次のようになります。
spark-submit --master local --class myDriver myApp.jar -c myConfig.conf
local または local[*] では、プロセスは数段階後に停止します。ただし、yarn-client または yarn-cluster マスター モードを使用すると、プロセスは正しく終了します。このプロセスは、いくつかのファイルを読み込んで HDFS に書き込みます。
さらに、次のトレースが表示されます。
17/07/05 16:12:51 WARN spark.SparkContext: Requesting executors is only supported in coarse-grained mode
17/07/05 16:12:51 WARN spark.ExecutorAllocationManager: Unable to reach the cluster manager to request 1 total executors!
確かに設定の問題ですが、何が起こっているのかわかりません。何か案は？どの構成オプションを変更する必要がありますか?