screen-scraping - ScraperWikiは、スクレイピングしているサイトをレート制限しますか？

Question

ScraperWikiはどういうわけか自動的にスクレイピングをレート制限しますか、それともsleep（1 * random.random（））のようなものをループに追加する必要がありますか？

Answer 1

自動レート制限はありません。レート制限を追加するために、自分の言語で記述されたスリープコマンドを追加できます。

レート制限をチェックするサーバーはごくわずかであり、通常、パブリックデータを含むサーバーはチェックしません。

ただし、リモートサーバーをオーバーランしないようにすることをお勧めします。デフォルトでは、スクレーパーは1つのスレッドでのみ実行されるため、生成できる負荷には組み込みの制限があります。