0

多くの URL の配列からデータをスクレイピングするために使用するクローラーがcURLありますが、これはかなり遅いため、同時に実行されるいくつかの子プロセスに分岐することにより、マルチスレッドを使用して高速化したいと考えています。

問題は、最適なスレッド数をどのように決定するかです。私はまともな専用サーバーを持っていますが、それらのリソースを計算して割り当てて、スクリプトを最小限の時間で実行する方法がわかりません。

4

0 に答える 0