Python/Pandas を使用して、ディスクとの間で大きなデータ フレーム (250MB 以上) を効率的に書き込む最良の方法を見つけようとしています。Python for Data Analysisのすべてのメソッドを試しましたが、パフォーマンスは非常に残念です。
これは、現在の分析/データ管理環境を Stata から Python に移行することを検討している、より大きなプロジェクトの一部です。テストでの読み取り/書き込み時間を Stata での読み取り/書き込み時間と比較すると、Python と Pandas は通常 20 倍以上の時間がかかっています。
Python や Pandas ではなく、私が問題であると強く疑っています。
助言がありますか？