ruby - Webでレビューを取得するにはどうすればよいですか？

Question

ウェブ上のさまざまな商品や物についてのレビューをかき集めたいのですが、どうすればよいですか。searchreviews.comという会社があります、彼らはそれをします、私は彼らがそれをどのように行うのか知りたいです。

Answer 1

彼らはページのHTMLを取得し、それを解析して、必要な情報をターゲットにします。

それはあなたがスクレイピングしているサイトのDOMに依存しているので、それは本当にひどいです。それは些細な方法と複雑な方法の両方でいつでも変わる可能性があります。私は（合法的に）さまざまな種類のサイトを削った企業と協力してきましたが、それは恐ろしいことです。

Answer 2

mechanizeまたはwatirまたはrautomationは、ここで役立つ可能性のある関連する宝石です。

Answer 3

私はさまざまなクライアントに対してこれを頻繁に行ってきましたが、ほとんどの場合、レビューを収集するサイトは非常によく構成されているため、スクレイピングはそれほど難しくありません。たとえば、Yelp.comを見てください。スクリーンスクレーパーでルーチンを作成し、クライアントの領域で郵便番号を検索し、フィルターを使用して目的の業種を絞り込み、一意の結果のリストを作成しました（郵便番号の検索では重複した結果が表示される可能性があるため）。そこから、それぞれの一意のURLを表示します。レビューは、正規表現といくつかのページの反復だけで非常に簡単に解析できます。