hdf5 - チャンクされた HDF5 DataSet とスラブサイズ

Question

チャンク化されたデータセットに関する HDF5 のパフォーマンスを評価しています。特に、連続した異なるチャンク間で読み取ることが可能かどうか、またそれによってパフォーマンスがどのように影響を受けるかを把握しようとしています。たとえば、チャンク サイズが 10 のデータセットがあり、値が 100 のデータセットで、値 23 から 48 を読み取りたいとします。パフォーマンスが大幅に低下しますか?

どうもありがとう！

Answer 1

あなたの質問に具体的に答える方法はわかりませんが、1024のチャンクサイズ（または2の累乗）を使用することをお勧めします。HDF5の内部はわかりませんが、ファイルシステムに関する知識と、私たちが行った大まかなベンチマークから、1024はちょうど良かったです。