ruby-on-rails - 大きな csv ファイルの処理

Question

75000 レコードを超える大量のデータを含む大きな CSV ファイルがあります。Rails アプリケーションから mysql データベースに挿入する必要があります。Sidekiq ( https://github.com/mperham/sidekiq ) を使ったバックグラウンド処理もかなり時間がかかっています。データを処理するより良い方法はありますか?

ありがとう

Answer 1

Rails を使用せずに mysql で直接実行できます。そうすればはるかに速くなります。詳細については、このSOの質問をご覧ください

Answer 2

MySql 関数を使用します。

LOAD DATA INFILE 'data.txt' INTO TABLE tbl_name
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES;