sorting - MPIソートの実装

Question

本当に巨大なファイルを数百Gbソートする必要があります。幸い、LinuxMPIクラスターにアクセスできます。誰かが、MPIを使用して分散環境で実行できる、優れているが最も重要に機能するソートプログラムを知っていますか。実際、私はそのファイル内の一意の行を数えたいので、誰かがそれを正確に実行するプログラムを知っている場合はさらに優れています。そうでなければ、後で自分でそれを行う方法を理解することができます。

Answer 1

結果を共有したいのですが、答えがなかったので。

私はordinal.comnsortからプログラムをダウンロードしました（ sortbenchmark.orgの年次ソートアルゴリズムコンペティションで2004年の優勝者）。クラスター方式ではありませんが、驚くほど高速にソートされます。もう何だったのかは覚えていませんが、を使って大幅な時間の改善が得られました。私はデフォルトのLinuxソートよりも数十倍速く（おそらく約50）速く話している。nsort

さらに2つの注意点があります。

• 非営利目的での配布でソートされるテキストファイルに限定されます。
• Linuxのソートユーティリティとまったく同じインターフェースを備えています。