MongoDB には、map reduce (2 回) を行っている一連のデータがあり、今のところ Mongo の map reduce を使用しますが、将来的にパフォーマンスをスケーリングして改善する方法を考えており、Hadoop について考えています。
Hadoop について私が読んでいるもののほとんどは、メガバイト、おそらく数十万のレコードを扱うときに、テラバイト単位のビッグデータについて語っています。(ただし、これらの多くが同時に実行されている可能性があるため、単一のタスクは小さいですが、合計は大きくなる可能性があります).
ビッグデータを可能にするのではなく、小さなデータから非常識なパフォーマンスを引き出すことを本当に望んでいます。つまり、MongoDB では数十秒、Hadoop では数秒または 1 秒未満かかる map reduce の結果を取得します。
これは可能ですか?
Hadoop はこれに適していますか?
そうでない場合、これを可能にする他のテクノロジーはありますか?
これが必要な正確な問題の詳細とこれまでの私の解決策は、この質問で見つけることができます: MongoDB 集約を使用したイベントのコレクションからの線形ファンネルは可能ですか?