問題タブ [qubole]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
spark-structured-streaming - Spark 構造化ストリーミング用に s3-sqs qubole コネクタを実行しようとしています
https://github.com/qubole/s3-sqs-connectorに従って、コネクタを読み込もうとしていますが、maven でコネクタを使用できないようで、buiold を手動で生成している間、sqs クラスが読み込まれません。これについて私を案内してもらえますか。
ありがとう、ディペッシュ
amazon-web-services - IAM ロール キーのローテーション時に署名付き URL の有効期限が切れないようにする
Airflow には、毎日実行される 2 つのタスクが定義されています。
- 最初のものは zip ファイルを作成し、それを AWS の次の場所に保存します。
s3://{bucket-name}/foo/bar/{date}/archive.zip - 2 つ目は、その URL に事前署名し (7 日で期限切れになるはずです)、Slack に送信します。
Qubole は IAM ロールを使用するため、生成された URL はキーがローテーションされると期限切れになります (私が知る限り 24 時間未満)。
私はこれに対する解決策を見つけようとしています。私の現在のアイデアは、2 番目のタスクを AWS ラムダに移動し、IAM ユーザー資格情報を使用して有効期限の問題を回避することです。
それを過度に複雑にすることなく、私が取ることができる他のアプローチはありますか?