java - StackOverflow からいくつかの html ページを分析する

Question

一度に 500 個の stackoverflow の質問から回答を抽出する必要がありますが、突然、Eclipse コンソールで次のエラーを読みました。

サーバーが HTTP 応答コードを返しました: URL の 503: https://stackoverflow.com/search?q=lucene+IndexWriter+registerMerge%28

その後ブラウザを使用すると、次のメッセージが表示されます。

この IP アドレスから異常な数のリクエストが送信されています。

ユーザーを保護するため、現在、この IP アドレスからのリクエストをこれ以上処理することはできません。

できるだけ早くアクセスを復元しますので、すぐにもう一度お試しください。

私は研究活動のためにこれを行います。SO ルールに違反していますか?

Answer 1

メッセージは単純明快です。あなたは StackOverflow をスクリーンスクレイピングしていますが、SO はあなたにそうしてほしくないのです。

それでもサイトをスパイダーしたい場合は、アクセスをレート制限するだけで、一度に 500 ではなく 100 ミリ秒または 250 ミリ秒ごとに 1 つのリクエストを行うことができます (これはあなたが行っていると思います)。