たくさんのページをスクリーンスクレイピングし、それらを ActiveRecord を使用してデータベースに保存する必要があります。EventMachine と Typhoeus をいじりましたが、不安定な結果が得られ、ほとんどの場合、不思議なことに空のレコードが保存されます。
トリックは何ですか?ページをスクレイピングしてディスクに書き込み、DB に挿入することで最良の結果が得られましたが、1 回のパスでそれを実行したいと考えています。
誰かがこれを成功させていますか?
たくさんのページをスクリーンスクレイピングし、それらを ActiveRecord を使用してデータベースに保存する必要があります。EventMachine と Typhoeus をいじりましたが、不安定な結果が得られ、ほとんどの場合、不思議なことに空のレコードが保存されます。
トリックは何ですか?ページをスクレイピングしてディスクに書き込み、DB に挿入することで最良の結果が得られましたが、1 回のパスでそれを実行したいと考えています。
誰かがこれを成功させていますか?