java - reduce フェーズが動作している間に map フェーズを開始する方法

Question

私はこのシナリオを持っています。ジョブAとジョブB。これがまだ機能している間に、JobA reduce フェーズによって提供されたデータを使用して JobB マッピング フェーズを開始する機会はありますか?

ありがとう！

Answer 1

私の頭に浮かぶ唯一のことは、JobAの出力ディレクトリを永続的にチェックするスレッド(ドライバークラスで開始)を持つことです。特定の (セットの) part-r-xxxx ファイルが作成され、完全に書き込まれると、その特定の (セットの) part-r-xxxx ファイルを入力として JobB を開始できます。

現在特定できる唯一の問題は、part-r-xxxx ファイルが完全に書き込まれたかどうかのチェックに関連するものです。