論文「マルチコアでの機械学習のためのMap-Reduce」は、マップリデュースモデルの恩恵を受けることができる10の機械学習アルゴリズムを示しています。重要な点は、「統計クエリモデルに適合するアルゴリズムは、特定の「合計形式」で記述できます。アルゴリズムは、合計形式がマップリデュースプログラミングモデルを適用できるように表現できます。
合計形式として表現できなかったアルゴリズムについては、mapreduceモデルを適用できないことを意味するわけではありません。マップリデュースモデルでは高速化できない特定の機械学習アルゴリズムを誰かが指摘できますか？
データに計算上の依存関係がある場合、MapReduceは機能しません。この制限により、構造化モデルで動作するアルゴリズムを表現することが困難になります。
結果として、大規模な問題に直面した場合、MapReduceの抽象化2に適した過度に単純化されたメソッドを優先して、豊富な構造化モデルを放棄することがよくあります。
機械学習コミュニティでは、多くのアルゴリズムが学習と推論の両方でパラメーターを繰り返し変換します。たとえば、確率伝搬法、期待値最大化、最急降下法、ギブスサンプリングなどです。これらのアルゴリズムは、いくつかの終了基準が一致するまで、パラメーターのセットを繰り返し改良します2。
反復ごとにMapReduceを呼び出すと、はい、それでも計算を高速化できると思います。ここでのポイントは、データのグラフィカル構造を採用したり、高度なスケジューリングを表現したり、終了を自動的に評価したりできるように、より優れた抽象化フレームワークが必要なことです。