profiling - Web クローラーをプロファイリングする方法

Question

Webクローラーの2つのわずかに異なるバージョンがあります。パフォーマンスを比較したい (特に、特定のドメインをクロールするのにかかる時間)。次の 2 つのオプションを検討しました。

1. それらを一度に 1 つずつ実行し、かかった時間を比較します。
2. 両方を同時に実行して、所要時間を比較します。

1 の欠点は、2 番目のネットワークを実行すると、ネットワークが遅くなったり速くなったりする可能性があることです。2 の欠点は、帯域幅の大部分を乗っ取ることができ、より高速に動作しているように見える一方で、同じ帯域幅を与えられた場合には他の方がうまく動作する可能性があることです。

プロセスごとに（可能であれば）帯域幅（およびおそらくCPU使用率）を制限する方法がわかりません。それができれば、それぞれに公平な分け前を与えて同時に実行するので、うまくいくでしょう。

これを行う方法はありますか？

Answer 1

オプション 1 を選択し、多くのサンプルを取得します。1 つを 1 週間実行し、次にもう 1 つを 1 週間実行します。もちろん、ネットワーク帯域幅は変動しますが、平均化する必要があります。

別の注意点として、クローラーがすべてのリソースを消費しないように、クローラーを調整する方法を見つけたいと思うでしょう。それができたら、オプション 2 がより適切な選択になります。