ruby-on-rails - ウェブサイトからデータを抽出する

Question

ウェブサイトから物件データを抽出したいのですが、

いくつかの Web サイトからデータを取得するために mechanize を使用しました。この Web サイトで mechanize を試してみましたが、最初のページの結果がすべて繰り返されました。

しかし、このウェブサイトでは、すべての結果呼び出しは ajax 呼び出しに基づいています。

ajax を使用しているこのタイプの Web サイトからデータを取得するにはどうすればよいですか。一部の ajax 呼び出し自体は暗号化されています。

前もって感謝します

Answer 1

ページの最初のロード時に、Mechanize を使用した Ajax リクエスト、または通常の HTTP リクエストの結果を取得することはできません。そのページのパラメーターに基づいて、ブラウザーがページの読み込み後に使用するのと同じ適切な値を使用して、Ajax ホストに後続の要求を行う必要があります。

これには、Watirなどを使用してスクリプトを作成し、Ajax リクエストで受信したデータを取得するか、埋め込み JavaScript を分析して Ajax リクエストで使用されているパラメーターを特定し、別の Mechanize または HTTP でシステムをスプーフィングする必要があります。リクエスト。