c# - C# で遅延を追加する最良の方法

Question

私は現在 Web クローラーを構築しており、要求に応じて遅延を追加して、Web サーバーに負荷がかからないようにしたいと考えています。

この遅延を追加する最も適切な方法は何ですか?

また、クローラーの適切な遅延量はどれくらいですか? 私は0.5〜1秒考えていました。

ありがとう

Answer 1

使用できます

Thread.Sleep(TimeSpan.FromSeconds(1))

検索エンジンは、10 ～ 15 秒または 60 秒のさらに大きな遅延を使用する場合があります。また、礼儀正しいクローラーは、サイトが robots.txt で提供する「クロール遅延」を尊重します。詳細については、http://en.wikipedia.org/wiki/Web_crawler#Politeness_policyをご覧ください。