ZODB を使用する新しいアプリケーションを作成しています。レガシー データを主に postgres データベースからインポートする必要がありますが、一部の csv ファイルからもインポートする必要があります。データに必要な操作の量は限られています (リンクされたテーブルをマージしてプロパティを作成するための SQL 結合、一部のプロパティの名前の変更、空の列の処理など)。
postgres データのサブセットを使用して、関連するすべてのテーブルの csv ファイルにダンプし、これらを pandas データフレームに読み込み、操作を行いました。これは機能しますが、最初にデータを csv に転送することが原因の一部であるエラーがあります。
すべてのデータをロードしたい (そしてエラーを取り除きたい)。データベースに直接接続して read_sql を使用するか、csv ファイルを使用し続けることが理にかなっているのか疑問に思っています。
最大のテーブル (csv ファイル) は 8 MB しかないので、メモリの問題は発生しないはずです。ほとんどのエラーは、エンコーディングまたはセパレーターの選択に関係しています (データには |、;、:、および ' が含まれます)。
何かアドバイス？また、Blaze と呼ばれるものについて読んだことがありますが、実際にそれを使用する必要があるかどうか疑問に思っています。