このスレッドで尋ねられたものと同様の質問があると思いますが、より具体的にしようと思います...
aws を使用してデータを定期的に処理する最良の方法は何ですか。たとえば、S3 に集約したレポートを 1 分に 1 回処理したいとします。スクリプトを介して毎分既存のジョブにステップを追加するのが最善の方法ですか?
質問する
1002 次
3 に答える
2
とりあえず、次のようなスクリプトを書きます。
- aws からジョブ フローの詳細を取得します
- ジョブのステータスが待機中の場合 - 新しいステップをジョブに追加します
- 私は aws PHP AmazonEMR を使用しているので、256 の最大ステップ制限を処理するコードを追加します (たとえば、同じパラメーターで新しいジョブ フローを作成し、200 を超えるステップがある場合は既存のジョブ フローを終了します)。
コードの準備ができたら、このスレッドを更新し、数週間本番環境でどのように保持されるかを確認したら、後で更新します
于 2012-05-22T09:04:22.177 に答える
1
ブートストラップ アクションを使用して、マスター ノードに cron ジョブをインストールします。
于 2012-06-13T14:43:57.807 に答える
0
(新しい) AWS Lambda サービスについて考えてみましょう。スクリプトをアップロードし、監視する S3 バケット/フォルダーを設定します。このコードは、フォルダーに新しい入力が追加されるたびに実行され、需要に対応するために必要に応じて EC2 インスタンスを起動します。
于 2014-11-13T22:20:52.357 に答える