s3 バケットからファイルを読み取り、フォーマットして、別の s3 バケットに配置する Spark ジョブがあります。これを達成するために、(SparkSession) spark.read.csv および spark.write.csv 機能を使用しています
ファイルを読み取るときは、1 つの IAM ロール (役割を引き受ける) を使用する必要があり、ファイルを書き込むときは、引き受けた役割を削除してデフォルトの役割に戻す必要があります。
これは同じスパークセッション内で可能ですか? そうでない場合、これを行う別の方法はありますか？
どんな助けでも大歓迎です！