私は caffe で深層学習を行っており、HDF5 形式で独自のデータセットを生成しています。131,976 個の画像がすべて 224x224 で、約 480MB になり、各画像にはラベルとして 1x6 配列があります。.h5 ファイルを生成すると、それぞれ 5GB、合計 125GB になることがわかりました。これが予想されることを確認したいだけです。内容を確認しましたが、メモリ要件が 250 倍になる理由がわかりません。私がやっているのは、numpy 配列 X と Y を埋めて、データセット (合計 25) を作成することだけです。
with h5py.File('/media/joe/SAMSUNG/GraspingData/HDF5/train'+str(j)+'.h5','w') as H:
H.create_dataset( 'graspData', data=X) # note the name - give to layer
H.create_dataset( 'graspLabel', data=Y)