問題タブ [multiprocessing-manager]

ウェブサイトから大量のファイルをダウンロードして処理したい。サイトの利用規約により、1 秒あたりにダウンロードできるファイル数が制限されています。

ファイルの処理にかかる時間が実はボトルネックなので、複数のファイルを並行して処理できるようにしたい。しかし、さまざまなプロセスが組み合わさってダウンロード制限に違反することは望ましくありません。したがって、オーバーリクエスト率を制限するものが必要です。私は次のようなことを考えていましたが、私はmultiprocessingモジュールの専門家ではありません。

次に、別の場所でダウンロードを実行します

これは小規模ではうまくいっているように見えますが、ロックが本当に正しく行われているのか少し心配です。

また、同じ目標を達成するためのより良いパターンがあれば、ぜひ聞きたいです。

前のスレッドが重複としてマークされた後、マルチプロセッシング マネージャーの方向に向けられました。マルチプロセッシングを使用して、パンダのデータフレームを処理して Flask リクエストに渡すサービスを作成しようとしています。これまでの私のコードは次のとおりです。

df_manager.py

data_handler.py

残念ながら、これは を呼び出そうとすると例外をスローしmanager.get_df()ますdata_handler.py。

正しい方向への助けをいただければ幸いです。

EDIT : これは特に DataFrames によって引き起こされたようdf.to_json()です。まだまだ調査中…dfdf_manager.py

EDIT2：Flaskの依存関係を削除するようにコードを更新しました.Flaskとは関係がないようです。

Git リポジトリ

いくつかのプロセスを開始する python プログラムがあります。そして、これらのプロセスは、独自のサブプロセス (ネストされたプロセス) を生成します。メインまたはサブプロセスのいずれかによって開始されたすべてのプロセスのリストを保持したいのですが、ネストされたプロセスのハンドルをメインに戻す方法がわかりませんでした。これは私が試したものですが、コンパイラはプロセスハンドルは選択できないと言います。