ruby - プログラムでヤフーを検索する

Question

yahoo検索結果をスクレイピングしていますが、 502 => Net::HTTPBadGateway. エラーの原因は正確には何ですか？yahooそれは私のボットを検出し、私の IP を禁止したということですか?

Answer 1

Response オブジェクトをコンソールに出力します (これには awesome_print をお勧めします)。

しかし.... 検索エンジンがクローラーをパケット化、抑制、またはブロックするのは完全に日常的です。ヤフーがそうするかどうかはわからないが、グーグルは確かにそうしている

代わりにhttp://commoncrawl.orgを検討できます

Answer 2

はい、彼らはあなたのボットをブロックしています。すべての大手検索エンジンには、結果ページのスクレイピングを防ぐための防御策があります. ただし、Google と Bing はどちらも、ボットにフィードするために使用できる無料の検索 API を提供しています。