MPI内からhdfsにファイルを読み書きする良い方法を知っている人はいますか? 私はこれを理解しようとしてかなりの量の掘り下げを行ってきましたが、追求するための一般的な方向性が必要です.
2 に答える
1
HDFS には、MPI-IO の興味深いターゲットとなる奇妙な点がいくつかあります。何よりも、複数のプロセスからの変更 (書き込み) に対する制限。
PLFS プロジェクト (MPI-IO スタイルの「すべてを 1 つのファイルに書き込む」ワークロードを使用し、それらを「プロセスごとに 1 つのファイル」ワークロードに変更する) は、HDFS をそのターゲットの 1 つにしたようです。この論文 (なんと 2 回も引用されています) が参考文献のように見えますか? http://www.pdl.cmu.edu/PDL-FTP/HECStorage/CMU-PDL-12-115.pdf
したがって、ROMIO によって実装された MPI-IO インターフェイスが必要になります。ROMIO には ADIO と呼ばれるデバイス抽象化レイヤーがあり、PLFS はそれらの基礎となるデバイスの 1 つにすることができます (パッチを適用した場合)。その後、PLFS が HDFS を読み上げ、最後に I/O を実行します。
このスタックのパフォーマンスがどれほどのものかわかりません!
于 2015-03-19T13:43:19.150 に答える