問題タブ [condor]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 複数コアでの分散処理から複数のマルチコアノードでの分散処理へ
バックグラウンド
Python では、ごく最近、module を生成するパッケージをserial_procedure.py使用してラップトップの 4 つのコアを利用することで、モジュール name を使用してシリアル プロシージャを高速化する方法を学びました。multiprocessingmulticore_procedure.py
質問
ここで、3 つのノードと各ノードに 4 つのコアを持つコンピューター クラスターを使用しようとしています。multicore_procedure.pyクラスターの 3*4 コアで並列化することにより、どのように速度を上げることができますか?
より具体的なリクエスト
プログラミングとソフトウェア エンジニアリングに関する私の知識はごくわずかであるため、slurm と condor の両方のリソース管理ソフトウェア システムで使用できる Python の明示的なサンプル スクリプトをいくつか提供していただければ幸いです。目標は、利用可能な 3*4=12 コアを自動的に検出し、統一されたコードを記述することです。
詳しくは
サンプルモジュールは以下serial_procdure.pyにmulticore_procedure.py提供されています。すべての反復ellで集中的な計算が実行され、その結果、totalというラベルの付いた値が得られることに注意してください。ランダムなパラグラフは、ラベルtotalの下で指定されたファイル名に書き込まれます。並列プロセスは段落を混ぜ合わせるべきではありませんが、すべてのプロセスが同じファイルに書き込む必要があります。
mpi4py パッケージを使用して mpi を実装しようとしましたが、serial_procedure.py と同様のパフォーマンスが得られたため、正しく取得できていないようです。