私はWebCrawlerを実行していますが、サーバーにリクエストが過負荷にならないようにしたいので、時間によってサーバーへのアクセスを制限します。
アクセスするリンクのリストであるオブジェクト/コレクションがあります。
私は最初のリンクを取得し、それはGoogle(例)からのものです。アクセスしてすべての作業を行います。20秒後(例)にGoogleからの別のリンクしか取得できず、待機している間、他のドメインからのリンクを取得します。
要約すると、その中のオブジェクトを分類し、決められた間隔でそこからオブジェクトを取得できるコレクションが必要です。
これに似たものはありますか?そうでない場合、実装でどのコレクションを使用することをお勧めしますか?このコレクションには、さまざまなスレッドからアクセスできます。