この質問の提案に従って、blaze プロジェクトの odo を使用して複数の pandas hdfstore テーブルをマージしています: Concatenate two big pandas.HDFStore HDF5 files
ストアには、設計により同一の列と重複しないインデックスがあり、数百万行あります。個々のファイルはメモリに収まる可能性がありますが、結合されたファイル全体はメモリに収まらない可能性があります。
hdfstore が作成された設定を保存する方法はありますか? データ列と圧縮設定が失われます。
運悪くやってみodo(part, whole, datacolumns=['col1','col2'])た。
あるいは、代替方法の提案をいただければ幸いです。もちろんこれを手動で行うこともできますが、メモリ不足にならないようにチャンクサイズを管理する必要があります。