ruby - ページを非同期にスクリーンスクレイピングして Active Record に保存しますか?

Question

たくさんのページをスクリーンスクレイピングし、それらを ActiveRecord を使用してデータベースに保存する必要があります。EventMachine と Typhoeus をいじりましたが、不安定な結果が得られ、ほとんどの場合、不思議なことに空のレコードが保存されます。

トリックは何ですか？ページをスクレイピングしてディスクに書き込み、DB に挿入することで最良の結果が得られましたが、1 回のパスでそれを実行したいと考えています。

誰かがこれを成功させていますか？

Answer 1

私の推測では、あなたのスレッドはAR接続を共有しています。これは問題を引き起こし、とにかく同時実行性はデータベースにレコードをより速く取得しません。同時にダウンロードして、単一のスレッドに挿入することをお勧めします（これまでと同じように）。