mapreduce - map reduce - ピアソン相関

Question

map reduce を使用してピアソン相関を実装するにはどうすればよいですか?

各ペア(x_i,y_i)をマッピングしようと思ったのですが、リデュース部分がよくわかりません..

Answer 1

問題を部分に分解する

r(x, y) = (a - b) / (c * d)

a、b、c、および d を計算し、上記の式に挿入します。場合によっては、式をさらに分解することが役立つ/効率的な場合があります。map/reduce を使用して各ステップを実行する場合は、少なくとも 4 つの個別の map/reduce ジョブ (多くの場合 6 または 7) が必要です。x と y の両方が必要なのは、(a) の 1 つだけです。