操作したい(平均、合計などを計算する)複数のcsvファイルがあり、その後、それらをSQLiteデータベースに保存したいと考えています。
しかし、それを行うための最も適切な方法は何かを知りたいです。
CSV から SQL へ、Pandas で操作
また
CSV、Pandas で操作して SQL に保存
たとえば、すべてのデータをこのテーブルhttp://financials.morningstar.com/ratios/r.html?t=GOOG®ion=USA&culture=en-USに保存したいとします。毎年更新し、2013 年、2014 年などを追加します。私のSQLテーブルで。各行の 10 年間の平均などを示す列を作成します。
よろしく、
現在、CSV ファイルを操作するための pandas のサポートは、SQL データベースを操作する能力をはるかに超えていますが、後者を飛躍的に改善するための多大な努力が現在行われています!
ドキュメントを見てくださいread_csv。これは、データ分析アプリケーション向けの最も柔軟で、高速で、一般的に強力なテキスト ファイル リーダー/ライターの 1 つです。
一方、データベースread_sqlへの書き込みのみが可能で、 .sqliteindex
オブジェクト (階層インデックス)read_csvを読み取ることもできます。MultiIndex
データベースに縛られていない場合はHDF5、永続化のために pandas の使用を検討することをお勧めします。私はこれをいつも使用していますが、うまく機能します。
要約すると、 を使用しない限りデータベースへの書き込みは機能しないため、データベースを使用する必要がある場合は、最初に挙げた選択肢をお勧めしますが、 以外の他のユーザーからは読み取るsqliteことができます。sqlite