大規模なグリッド データセットに適したストレージ形式を探しています。アプリケーションは気象学であり、この分野で一般的な形式を希望します (他のユーザーとのデータ交換を支援するため)。特別なデータ構造を扱う必要はありません。Fortran API が必要です。現在、HDF5、GRIB2、および NetCDF4 を検討しています。
これらの形式は、データ圧縮に関してどのように比較されますか? 主な制限は何ですか? 学習曲線はどのくらい急勾配ですか? 調査する価値のある他のストレージ形式はありますか?
これらの形式の違いと長所/短所を概説する多くの資料は見つかりませんでした (関連するSO スレッドが 1 つあり、 GRIB と NetCDF を比較するプレゼンテーションがあります)。
申し訳ありませんが、私は気象学の専門家ではありませんが、科学界は HDF5 に移行しているように見えます。たとえば、NERSC ページを参照してください。
http://www.nersc.gov/users/training/online-tutorials/introduction-to-scientific-io/
歴史的に FITS を使用しているため、天体物理学データについても同じ選択をしなければなりませんでした。HDF5 の使用を開始するのは非常に簡単であることがわかりました。これは、fortran と C だけでなく C++ の API と、python パッケージ (h5py) もあるからです。
HDF5 は科学界のトレンドであるように思われるので、私は確かに HDF5 を検討します。
また、HDF5 にはフィルター (圧縮フィルターを含む) が組み込まれているか、独自のフィルターを作成することもできます。
最後に、HDF5 の「チャンク化された」データセットを調べてください。これは、グリッド化されたデータセットがある場合に非常に役立つ可能性があるためです。