AWS でクラスターを作成して、Qubole で Spark を使用しています。Qubole Workbenchで、以下のコマンド ラインを実行すると、正常に動作し、コマンドが成功します。
/usr/lib/spark/bin/spark-submit s3://bucket-name/SparkScripts/test.py
しかし、 --properties-file オプションと一緒に同じコマンドを実行すると
/usr/lib/spark/bin/spark-submit --properties-file s3://bucket-name/SparkScripts/properties.file s3://bucket-name/SparkScripts/test.py
以下のエラーメッセージが表示されます
Qubole > シェル コマンドが終了コードで失敗しました: 1
アプリ > Qubole セキュリティ プロバイダーの初期化に必要な有効な構成を取得中にエラーが発生しました
アプリ > スレッド「メイン」の例外 java.lang.IllegalArgumentException: 要件が失敗しました: プロパティ ファイル s3:/bucket-name/SparkScripts/properties.file が存在しません
誰かがこれを修正するのを手伝ってくれますか? いくつかのアプリケーション プロパティを Amazon S3 の別のファイルに保存し、spark プログラムに --properties-file で渡す必要があります。