mpi - HPC クラスターで分散サフィックス ツリーを作成する方法

Question

4 GB の入力文字列のサフィックス ツリーを作成したいと考えています。理想的には、メモリ内のツリーのサイズは約 100 GB になります。通常のデスクトップではこれを行うことはできません。Windows HPC クラスターでそれを行う方法はありますか? HPC の異なる計算ノードにサフィックス ツリーを配布するにはどうすればよいですか?

Answer 1

はい、可能です。Google Scholarには、このトピックに関するいくつかの論文が掲載されています。秘訣は、最初のプロセッサに部分的なサフィックスを最初に割り当てることにあります。各プロセッサがオフになり、ツリーのセクションを独立して見つけることができるように、これを選択する必要があります。これが完了すると、通常のサフィックス ツリー操作をかなり効率的に実行できます。実装の公開例は知りません。