Airflow には、毎日実行される 2 つのタスクが定義されています。
- 最初のものは zip ファイルを作成し、それを AWS の次の場所に保存します。
s3://{bucket-name}/foo/bar/{date}/archive.zip - 2 つ目は、その URL に事前署名し (7 日で期限切れになるはずです)、Slack に送信します。
Qubole は IAM ロールを使用するため、生成された URL はキーがローテーションされると期限切れになります (私が知る限り 24 時間未満)。
私はこれに対する解決策を見つけようとしています。私の現在のアイデアは、2 番目のタスクを AWS ラムダに移動し、IAM ユーザー資格情報を使用して有効期限の問題を回避することです。
それを過度に複雑にすることなく、私が取ることができる他のアプローチはありますか?