AWS データ パイプラインを使用して、dynamodb テーブルを毎週 S3 に自動的にバックアップします。
私のデータ パイプラインはすべて、2 週間前から機能しなくなりました。
調査の結果、EMR が「検証エラー」および「ユーザー アカウントのアクティブなキーが見つからないというエラーで終了しました」で失敗することがわかりました。その結果、すべてのジョブがタイムアウトします。
これはどういう意味ですか？
EMR での使用が許可されているインスタント型のリストへの変更を除外しました。
また、EMR ログを読み取ろうとしましたが、ログを作成するポイントに達していないようです (または、間違った場所でそれらを探しています)。
EMR の起動に使用された AWS アカウントにはキー (アクセス キーと秒キー) があります。それらのキーが削除されているか確認していただけますか? AWS コンソールにログインし、アカウントのキーが存在することを確認する必要があります。
そうでない場合は、キーを再作成し、EMR を起動するコードで使用します。
基本的に@Sandesh Deshmaneは私の質問に正しく答えました。
将来の参照と明確化のために、ここでも状況を説明します。
何が起こったのかというと、最初はルート アカウントとコンソールを使用してパイプラインを作成していました。その後、ベスト プラクティスに従うことにし、ルート アカウント キーを削除しました。
数日後 (私のパイプラインは毎週実行するようにスケジュールされています)、それらがすべて失敗したとき、私は接続を確立せず、他の問題を考えました。
これを回避する 1 つの良い方法 (コンソールを使用する場合) は、IAM アカウントでコンソールにログインし、パイプラインを作成することだと思います。
または、コマンド ライン ツールを使用して、IAM 認証情報を使用して作成することもできます。
現在の本当の解決策 (コンソールが最初に導入されたときには利用できなかったと思います) は、コンソールでパイプラインを作成するときに、最初のページで正しい IAM ロールを割り当てることです。「セキュリティ/アクセス」セクションで、デフォルトからカスタムに変更し、そこで正しい役割を選択します。