sparse-matrix - HDF5 でのスパース配列のサポート

Question

何らかの方法で 512^3 配列をディスクに格納する必要があり、現在 HDF5 を使用しています。配列がまばらであるため、多くのディスク領域が無駄になります。

HDF5 はスパース配列をサポートしていますか?

Answer 1

チャンク データセット (H5D_CHUNKED) はスパース ストレージを許可しますが、データによってはオーバーヘッドが重要になる場合があります。

典型的な配列を取り、スパースと非スパースの両方を試してから、ファイル サイズを比較すると、それが本当に価値があるかどうかがわかります。