hadoop - Kn+1->Vn+1 = f(Kn->Vn) の場合、シーケンシャル データをマップ縮小する方法は?

Question

より理論的な質問がありましたが、それは、Hadoop を使用せずに過去に解決してきたタスクを map-reduce プラットフォームに変換することに関連しています。

たとえば、技術的にはフレームのシーケンスであるビデオ ファイルがあり、各フレームでいくつかの丸いオブジェクトの特徴を検出する必要があります: (x、y、サイズ、歪み)。検出アルゴリズムは、フレーム自体と前のフレームの認識結果の 2 つを入力として受け取ります。

ここでの問題は、そのような問題をマップ削減パラダイムに変換する方法です。

1. レデューサーを持つことの利点が使用されます。私の場合、マッパーしか想像できません
2. アルゴリズムは、各フレームを個別に処理するだけでなく、シーケンスを処理することができます。

ありがとうございました

Answer 1

1. 各フレームのデータを保持したい場合は、Reduce ステップは必要ありません。Hadoop では、Reduce ステップはオプションです。何らかの統計を実行したい場合 (たとえば、すべてのフレームでデータを平均化するなど)、リデューサーを使用できます。
2. MapReduce は、このような順次処理には適していません。
   1. 処理するビデオが複数ある場合は、各マッパーに 1 つのビデオを処理させることができます。これにより、データの並列性が得られます。
   2. 順次並列処理用に設計されたApache HamaやHaLoopなどの関連する Hadoop テクノロジを確認できます。