1

私は、基本的にURLアドレスを持つキューと、それらのURLアドレスのコンテンツを処理するためのいくつかのクラスであるアーキテクチャを持っています。現時点ではコードは正常に動作しますが、URL をキューから順番に引き出し、対応するクラスに送信し、URL コンテンツをダウンロードして最終的に処理するのは遅いです。

nたとえば、キュ​​ーから URL を読み取り、nプロセスまたはスレッドを起動してダウンロードと処理を処理できれば、より高速でリソースを適切に使用できます。

以下の点についてご協力いただければ幸いです。

  1. この問題を解決するには、どのパッケージを使用できますか?
  2. 他にどのようなアプローチが考えられますか?
4

2 に答える 2

2

Python Multiprocessingライブラリを調べることをお勧めします。を使用multiprocessing.poolすると、関数と配列を指定できます。指定した数のプロセスを使用して、配列の各値で関数を並列に呼び出します。

于 2013-07-31T20:50:08.457 に答える