Amazon Elastic MapReduce（Amazon EMR）を使用してジョブフローを作成しましたが、いくつかの不明な理由により失敗しました。次に、AWS Management Consoleを介してジョブフローを終了しようとしましたが、[終了]ボタンが無効になりました。次に、CLIを使用してジョブフローを終了しようとしましたが、ジョブフローが終了していることが示されましたが、CLIおよび管理コンソールの[Elastic MapReduce]タブで表示すると、ジョブフローリストに失敗として表示されます。
リストからジョブフローを削除する方法を教えてください。
ジョブフローをデバッグしようとすると、2つのエラーが表示されます。
ここで2つの問題に直面しています。
何よりもまず、AmazonEMRジョブフローの終了状態をトリガーする問題でイライラする問題はすぐに解決できます。
Amazon Elastic MapReduce（Amazon EMR）を使用してジョブフローを作成しましたが、いくつかの不明な理由により失敗しました。
ジョブフローの失敗の理由は、実際には、指定したリストのエラー2から推測できます。
ジョブフローが次の理由で失敗しました：無効なバケット名'testBucket'：バケット名には、小文字、数字、ピリオド（。）、およびダッシュ（-）のみを含める必要があります。[強調鉱山]
バケット名「testBucket」は、記載されている小文字の命名要件に明らかに違反しているため、名前を小文字のみに変更すると（たとえば、「testbucket」または「test-bucket」）、必要に応じてジョブフローを実行できます。
さらに、ジョブフローの終了状態は、おそらくまったく問題ありません。まれに、Amazon EC2インスタンスまたは他のリソースが実際に何らかの状態でスタックしている場合がありますが、表示されているものは完全に合理的であり、一見正常です。
そもそもジョブフローを完全に終了するには時間がかかる場合があります。TerminateJobFlowsを参照してください。
TerminateJobFlowsの呼び出しは非同期です。ジョブフローの設定によっては、ジョブフローが完全に終了してAmazon EC2インスタンスなどの割り当てられたリソースを解放するまでに最大5〜20分かかる場合があります。[強調鉱山]
終了したEC2リソースでさえ、かなり長い間リストされる可能性があります。たとえば、EC2インスタンスが「終了」状態でスタックした場合のAWSチームの応答を参照してください。
終了とは「永遠に消えた」という意味です。時々それはUIで数時間ぶらぶらしますが。[強調鉱山]
私は定期的にEC2インスタンスのこの動作を目撃しています。これは通常、かなり数時間後にインスタンスリストから消えてしまいます。その結果、終了したジョブフローがその間にジョブフローリストから消えたのではないかと思います。
私は実際にこれが事実であると疑っていますが、それでも公式文書で関連情報を見つけることができません。ただし、明らかに終了したジョブフローは、最大2か月間でも、何らかの形で表示される可能性があります。たとえば、コンソールに対するAWSチームの応答で1か月より古いジョブが表示されない場合を参照してください。
コンソールには実行中のすべてのジョブフローが一覧表示されますが、先月起動された終了したジョブフローのみが表示されます。または、Ruby CLIを使用して、次のコマンドで過去2か月間に起動されたすべてのジョブフローを一覧表示することもできます。[...] [emphasis mine]
アプリケーションがHadoopヤーンで実行されている場合は、いつでもヤーンを使用してアプリケーションを管理できます。
yarn application -list
yarn application -kill application_name