0

さまざまなウェブサイトからコンサートデータを取得しようとしています。私はいくつかのスクリプトを作成しました。各スクリプトは特定のWebサイトからデータを取得し、予測可能な構造を持つハッシュに編成します。これらの各スクリプトには、scrapeこれを実現する機能があります。これらのスクレーパースクリプトはすべてディレクトリにあります。次に、ディレクトリ内のスクリプトごとに、そのスクリプトを呼び出してscrapeデータベースにデータを追加するマスタースクリプトを作成します。

このマスタースクリプトをResqueワーカーにして、サイトが毎日バックグラウンドで各サイトをスクレイプするようにする予定です。

マスタースクリプトでこれを達成するにはどうすればよいですか？今、私は次のようにディレクトリを調べます。

Dir.glob(/app/workers/scraped_venues/*.rb) do |venue_scraper|
  # call that script's `scrape` function
  # use data from that `scrape` call
end
4

1 に答える 1

0

スクレイピングを行うレーキタスクを作成します。

レーキチュートリアル： http： //jasonseifer.com/2010/04/06/rake-tutorial

そして、いつでも宝石を使用して、毎日スクレイピングを実行します。ドキュメントから理解するのは痛々しいほど簡単なはずです：

https://github.com/javan/whenever

Railsでバックグラウンドで物事を実行する方法：Ruby on Rails：バックグラウンドで物事を実行する方法？

于 2013-01-03T11:31:30.750 に答える