プロジェクトでは、30 GB のデータセットを処理する必要があります。非常に強力なスーパーコンピューターを使用できます。これにより、すべてのデータセットを RAM メモリに保存して計算を行うことができます (実装する必要のあるアルゴリズムの一部には、データセット全体が必要になります)。問題は、データセットの読み込みがまだ非常に遅いことです。
プロセスをスピードアップするための実際的な提案をお願いしたいと思います。私のアイデアは、ロード プロセスを C++11 の明示的なスレッドに分割し、スレッド インデックスに基づいて個別のデータ チャンクをロードすることでした。STXXL ライブラリについても聞いたことがありますが、コア外の計算を処理しているように見えるため、RAM にデータをロードする必要はありません (必要な RAM があるため、これは避けたいと思います。データセットをロードすることで結果が速くなります）。