Webクローラー/スクレーパーを作成する場合、リクエストを抑制し、サーバーのDoS攻撃/禁止を回避するために利用できるアルゴリズムと手法は何ですか? これは、Webスクレイピングについて読むときによく出てきますが（たとえば、ここ）、常に「スロットリングを実装する必要がありましたが、実装していませんでした」のようなものです:)
サーバー側でリクエストを調整する方法についての議論がほとんどで、他のもの (この質問など) は一部のライブラリに固有のものであるため、私の Google-fu は弱い可能性があります。