python - hdf5 ファイルの結合

Question

それぞれが単一のデータセットを持つ多数の hdf5 ファイルがあります。データセットが大きすぎて RAM に保持できません。これらのファイルを、すべてのデータセットを個別に含む 1 つのファイルに結合したいと考えています (つまり、データセットを 1 つのデータセットに連結しないでください)。

これを行う 1 つの方法は、hdf5 ファイルを作成してから、データセットを 1 つずつコピーすることです。これはバッファリングされたコピーである必要があるため、遅く複雑になります。

これを行うより簡単な方法はありますか？基本的にコンテナファイルを作成しているだけなので、あるはずです。

私はpython/h5pyを使用しています。

Answer 1

これを更新するために、HDF5 バージョン 1.10 には、「仮想データセット」と呼ばれるこのコンテキストで役立つ可能性のある新機能が付属しています。
簡単なチュートリアルといくつかの説明があります: Virtual Datasets。
この機能のより完全で詳細な説明とドキュメントはこちら:
Virtual Datasets extra doc .
そして、ここで、仮想データセット API を h5py に含めるための h5py のマージされたプル リクエスト:
h5py 仮想データセット PRですが、現在の h5py バージョンで既に利用可能であるか、後で利用可能になるかはわかりません。