python - 数千のデータフレームオブジェクトを格納するパンダ

Question

私は、SPC 分析を行う大規模なプロジェクトに取り組んでおり、何千もの異なる無関係なデータフレーム オブジェクトがあります。オブジェクトをメモリに保存するためのモジュールを知っている人はいますか? Python 辞書を使用することもできますが、ロック、スレッドセーフ、誰がそれを持っているか、待機リストなど、より精巧で機能的なメカニズムが必要ですか? 私は地元の公立図書館システムのように振る舞うものを作ろうと考えていました。1 人の所有者に書籍をチェックインおよびチェックアウトする方法 ...etc.

Answer 1

HDF5-pytablesは、パンダにとって非常に優れたストレージバックエンドです。

Pytablesは拡張してファイルシステムのように管理できますが、何らかのマルチアクセスが必要な場合は注意が必要です（本当に必要な場合は、これらの機能を提供する従来のデータベースを使用する必要があります）。

Answer 2

redis-py を使用した Redis は 1 つのソリューションです。Redis は非常に高速で、優れた Python バインディングがあります。前述のように、Pytables も適切な選択です。PyTables は HDF5 であり、非常に高速です。