多くの URL の配列からデータをスクレイピングするために使用するクローラーがcURL
ありますが、これはかなり遅いため、同時に実行されるいくつかの子プロセスに分岐することにより、マルチスレッドを使用して高速化したいと考えています。
問題は、最適なスレッド数をどのように決定するかです。私はまともな専用サーバーを持っていますが、それらのリソースを計算して割り当てて、スクリプトを最小限の時間で実行する方法がわかりません。
多くの URL の配列からデータをスクレイピングするために使用するクローラーがcURL
ありますが、これはかなり遅いため、同時に実行されるいくつかの子プロセスに分岐することにより、マルチスレッドを使用して高速化したいと考えています。
問題は、最適なスレッド数をどのように決定するかです。私はまともな専用サーバーを持っていますが、それらのリソースを計算して割り当てて、スクリプトを最小限の時間で実行する方法がわかりません。