問題タブ [qizmt]

簡単な MapReduce 操作の Qizmt を使用して、ローカルの単一システム テストを実行しています。「マップ」フェーズの最後に、次のように呼び出しています。

これは 100 万回と呼ばれ、キーは 1、2、3、4、5、6 などで、それぞれが一意です (結局のところ、テストしているだけです)。これが意図したとおりに行われていることを確認しました。です。関数は 100 万回独立して呼び出され、値の入力は正しいです。

驚いたことに、'Reduce' フェーズでのみ、たとえば 100 程度のキーが実際に受信されます (つまり、'Reduce' 関数は 100 回程度しか呼び出されません)。これらのキーは、0、383、766、2858、3241、5716 などのパターンでマップされたリストからほぼ任意に選択されたようです。

「Reduce」に至る一連のキーは一貫しています。すなわち。タスクを実行するたびに、一貫して 0、383、766 などを取得します。ただし、クラスターに 2 つ目のシステムを追加すると、通過するキーのセットが完全に変更されます。

'Map' と 'Reduce' の間の段階は、私には少し謎です。私の Map 関数は意図したとおりに動作しているように見えるので (つまり、'output' を 100 万回呼び出す)、どこを見ればよいかわかりません。回）。並列処理の経験が豊富な人は、私がどこを見るべきか、またはこの動作を引き起こす可能性のある何かを知っていますか?

CPU を集中的に使用する処理を行う 32 ビットの COM オブジェクトがあります (現在は 1 つの CPU に限定されています)。非常に大規模なデータセットとユーザー コミュニティに合わせてスケールアップするために、QizMt などの MapReduce のようなフレームワークを介して分散処理を採用することを考えています。

私の質問は、QizMt は COM で動作しますか? 他の選択肢はありますか？

COM 内のロジックはかなり複雑です。分散処理を元のコードに対してできるだけ透過的にしたいと考えています。

私は彼らが現在、HPC プロジェクトを放棄し、Hadoop に移行していると読んでいます。そして、.NET とよりシームレスに統合できると思われる独自の Hadoop インストール パッケージを提供する予定です。

この計画に関するドキュメントはどこで入手できますか? アーキテクチャと、ローカルで実験を開始する方法。

また、.NET 上の Hadoop に代わるもう 1 つの代替手段は、myspace の Qizmt です。http://qizmt.myspace.com/ <-- どのように比較しますか。Map Reduce フレームワークのように見えますが、HDFS/ビッグ テーブル タイプのファイル システムがないと役に立たないので、付属していますか?

ありがとう！