問題タブ [scrubyt]

このページhttp://www.nuffieldtheatre.co.uk/cn/events/event_listings.php?section=eventsから詳細を取得するために Scrubyt を使用しようとしています。リストからタイトルと詳細 URL を取得することはできましたが、next_page を使用してスクレーパーを次のページに移動させることはできません。次のページのリンクに正しいパターンを使用していないことが原因だと思います。「次のページ」という文字列を試してみました。また、XPath も試しました。他のアイデアはありますか？

コードは以下のとおりです。

これは、以前の 2 つの質問と同様の問題である可能性があります。こことここを参照してください。ただし、_detail コマンドを使用してリンクを自動的にクリックし、個々のイベントの詳細ページをスクレイピングできるようにしています。

私が使用しているコードは次のとおりです。

event_detail を使用してアクセスしようとしている URL を出力する方法はありますか? このエラーは、404 を返した URL を教えてくれないようです。

更新:リンクは相対リンクである可能性があります。これが問題を引き起こしている可能性はありますか? それに対処する方法はありますか？

このコードをスクラブからノコギリに移行しようとしていますが、結果をハッシュまたは xml に書き込もうとしています。スクラブでは、次のようになります。

nokogiri を使用すると、必要な情報を解析できますが、アイテムをハッシュまたは xml ドキュメントで返す簡単な方法はないようです。ノコギリにあるのはこれだけです。

アイテム情報を xml またはハッシュに返すにはどうすればよいでしょうか?

残念ながら、私は超えることができないように見える問題に遭遇しました。残念ながら、私はRuby on Railsの新生児でもあるため、質問の数が多くなります

次のような Web ページをスクレイピングしようとしています。

次のページの住所、電話番号、URL をスクレイピングしたいと思います。この場合は

考えられることは何でも試してみましたが、見えないように設定されているため、何も機能していないようです。

アドレスはh3タグ内にありますが、スクラップ可能ではないようです。次の URL から ScRUBYt についても調べてみましたがhttp://www.rubyrailways.com/ajax-scraping-with-scrubyt-linkedin-google-analytics-yahoo-suggestions/、この場合の適用方法の表と裏を見つけることができないようです。

これは私の任務を前進させるために本当に乗り越える必要がある障害であるため、どんな指針も本当に感謝しています. 助けてくれてありがとう。

query_field で big5 でエンコードされた文字列を受け入れるように fill_textfield を取得する方法を知っている人はいますか? これで「終了していない文字列がファイルの終わりに達しています」というエラーが発生し続けます。

私は「学習」手法に基づいてスクラブ エクストラクタを作成しました。つまり、ページ上の現在のテキストを指定し、それを取得して XPath 式自体を解決します。ただし、ページが変更された場合でも使用できるように、extractor をエクスポートしたいと考えています。

現在、scrubyt のドキュメントはいたるところにあるようですが、私が見つけたものから、行を配置できるはずでextractor.export(__FILE__)あり、機能するはずです。そうではありません-エクスポートの引数の数が間違っているというエラーが表示されます。0にする必要があります。引数なしで試しましたが、まだ失敗します。

スクラブ フォーラムで質問したいのですが、長い間そこに誰もいなかったようです。

ここで何をすべきか？

私は決して Ruby の達人ではなく、Scrubyt はまったくの初心者です。そこのwikiページにあるいくつかの例を試してみました。私が取り組んでいた例は、「ルビー」を検索したときに Google から返された検索結果を取得することでした。各結果の URL を取得して、そのページも取得できるようにするというアイデアがありました。問題は、URL を適切に取得する方法がわからないことです。これは私の次のコードです：

コードは XML データ (名前とリンク) を適切に出力しますが、タグが追加されないように見えるリンクを取得するにはどうすればよいですか<link_url>(link_url を出力しようとしたところ、タグも出力されていることに気付きました)。にfetch link_url保持されている xml コンテンツからテキストを抽出する方法はありますlink_urlか?

これは、によって印刷されるコンテンツの一部ですgoogle_data.to_xml.write()。

Windows XP を実行しています。Ruby（1.9）の最新バージョンをインストールしました-Hpricot、Mechanize、およびScrubytは問題なくインストールされました。私は、scrubyt を動作させるために見つけることができる最も単純な例で作業しようとしました。例 ：

しかし、私はエラーが発生し続けます:

スターターの例をいくつか試しましたが、すべて同じエラー メッセージが表示されます。今日はルビーを始めたばかりなので、何が起こっているのかよくわかりません。

ありがとう！

Windows で Ruby 1.9.2 でスクラブを使用し、Scrubyt::Extractor.define を呼び出すと次のエラーが発生します。

@@agent = Mechanize::Mechanize.newファイル内で「require 'mechanize'」と指定しているにも関わらず Mechanize が読み込まれていないのは、scrubyt/core/navigation/agents/mechanize.rbに関連しているようです。

mechanize (2.0.1)、hpricot (0.8.4)、fireawtir (1.9.3)、nokogiri (1.5.0) をインストールしました。

なぜ問題なのかについてのアイデアはありますか?

Scrubyt gem を使用していますが、使用すると次のエラーが発生します。

次のgemをインストールしました

ここで何が間違っているのでしょうか？