4

EMR (Elastic MapReduce) の後処理の例はありますか? 私が達成しようとしているのは、Amazon の Hadoop が仕事を終えた直後に、人々のグループに電子メールを送信することです。

4

2 に答える 2

5

ジョブ終了通知 URL を構成する必要があります。

jobEnd.notificationUrl

AWS は、おそらくどのジョブが完了したかを示すクエリ変数 (ジョブ ID) を使用して、この URL にアクセスします。

メールとジョブ ID の関係を既に保存していると仮定すると、サーバー上のこの URL でメール通知を処理できます。

https://issues.apache.org/jira/browse/HADOOP-1111

于 2013-04-03T17:09:09.000 に答える
3

もっと簡単な方法は、Amazon CloudWatch (監視システム) とAmazon Simple Notification Service (SNS)を使用して、EMR ジョブのステータスを監視し、あなたや他の人に通知することです。

たとえば、クラスターのアラームを設定して、IsIdle をチェックすることができます。ジョブが完了する (または失敗する) と 1 に設定され、SNS 通知を電子メール (または SMS) で受け取ることができます。JobsFailed の数やその他のメトリックに同様のアラームを設定できます。

EMR 関連のメトリックの完全なリストについては、EMR のドキュメントを参照してください。

詳細については、http: //docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/UsingEMR_ViewingMetrics.htmlを参照してください。

于 2013-04-05T07:48:37.940 に答える