問題タブ [amazon-swf]

EMR で Amazon SWF ジョブを実行しています。この EMR クラスターの JobFlowID を別の EMR クラスターで使用したいと考えています。現在、使用している EMR クラスターに jar の手順を追加するには

AddJobFlowStepsRequest リクエスト = 新しい AddJobFlowStepsRequest(jobFlowId)

このステップを別のワークフローで使用して、前のクラスターのジョブ フロー ID を呼び出すにはどうすればよいでしょうか。

データ サイズが kb の場合、コードを実行して 1 つの s3 バケットから別の rbucket にデータをコピーすることができました。しかし、サイズが数 mb になると、私のタスクは START_To_CLOSE エラーで失敗します。taskStarttoClose タイムアウトでタスクが失敗します。defaultTaskStartToCloseTimeoutSeconds を 60 秒にオーバーライドしようとしましたが、後でワークフローを実行すると、値が 10 秒に設定されていることがわかります。60秒待つと値が変わる理由がわかりません。アクティビティは大きなファイルのコピーに失敗します。コピー アクティビティのコード サンプルを次に示します。

いくつかのアクティビティがあり、カスタム例外をスローできます。問題は、Activity Worker クラスでスローされた例外をキャッチできず、スタック トレースが表示されていることです。Throwable をキャッチしようとしましたが、スタック トレースが再び表示されるため、役に立ちません。

活動実施クラス

アクティビティ ワーカー クラス

スタックトレース

2014 年 10 月 18 日 14:02:53

ワークフロー実装のすべてのアクティビティが実行を完了した後、またはそれらのいずれかが例外をスローした場合、アクティビティとワークフロー ワーカーをシャットダウンする方法はありますか。

N個のアクティビティに依存するアクティビティ (actN など) があります。N 個のアクティビティはすべて並行して実行されます。すべてのアクティビティが完了したら、アクティビティ actN を実行したいと思います。@Asynchronous タグが機能しないため、@Asynchronous アノテーションを使用せずにこれを実行したいと考えています。

私の Amazon Simple ワークフローは EMR クラスターをスピンし、前のステップの出力に依存するいくつかのステップを追加します。10 のステップがあり、6 番目のステップで s3 に出力が生成されるとします。これを 7 番目のステップで調べて、6 番目のステップの出力に基づいて、ステップをさらに続行できるか、クラスターを終了できるかを判断します。ワークフローは正常に実行されますが、出力が望ましくない場合はどうすればクラスターを終了できますか? AWS Java SDK を使用しています。

並行して実行する必要がある 2 つのアクティビティ セットがあります。正常に完了した後、別の一連のアクティビティを実行したいと考えています。タスクを使用しましたが、機能していました。しかし、@Asynchronous アノテーションを使用した後、DecisionTaskTimedOut を取得していて、どのアクティビティも実行を開始しません。ターゲットで次のクラスを確認できるため、aspectj 構成は機能しています。

AsyncWorkflowImpl$AjcClosure1.class

AsyncWorkflowImpl$AjcClosure3.class

AsyncWorkflowImpl$AjcClosure5.class

非同期バージョン

タスク バージョン

アスペクト織りに問題はありますか？どんな提案でも大歓迎です。