Web ページをスクレイピングするために作成された単純な Rails アプリケーションがあります。コントローラーは、watir-webdriver を使用して、Firefox をヘッドレス モードで使用しているスクレイパーユーティリティを呼び出します。アプリケーションは動作し、結果を適切に返します。アプリケーションを呼び出す方法は、次のようなものです。
http://somedomain.com:3000/scrapers.json?session=1349426645_562&l=test
json 文字列を返します。
スクレーパーが完了するまでに約 15 秒かかります。1 つの要求の進行中に別の要求を開始しようとすると、前の要求が完了するまで要求がキューに入れられます。Railsアプリケーション側の制限なのか、Xvfbを使用したwatir-webdriverまたはheadless gemの制限なのかはわかりません。
どんなポインタでも役立ちます。
ありがとう、シュリダール