問題タブ [embarrassingly-parallel]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
gpu - 恥ずかしい並列における GPU の欠点
恥ずかしい並列プログラムに GPU を使用することの欠点は何ですか?
python - Python経由でforループを並行して実行する
IP アドレスのリストをループして、それらに関する情報を返すプロセスがあります。単純な for ループはうまく機能します。私の問題は、Python のグローバル インタープリター ロック (GIL) により、これを大規模に実行することです。
私の目標は、この関数を並行して実行し、4 つのコアを最大限に活用することです。このようにして、これらを 100K 実行しても、通常の for ループでは 24 時間もかかりません。
ここで他の回答、特にこれを読んだ後、単純なPythonループを並列化するにはどうすればよいですか? 、joblibを使用することにしました。10 レコードを実行すると (上記の例)、実行に 10 分以上かかりました。これは正しく機能しているようには聞こえません。私が間違っていることや理解していないことがあるのを知っています。どんな助けでも大歓迎です！
正常に動作する通常の for ループ!
すべてのコアで実行するために joblib に渡す関数!
joblib 経由ですべてのコアを使用してプロセスを実行する
slurm - SLURM 非常に多くのリソースを消費する並列サブミット
したがって、次の送信スクリプトがあります。
私がやりたいことは、1 から 512 までの引数を指定してプログラム P6 の 512 個のインスタンスを実行することです。しかし、squeue と sacct を調べると、SLURM は各タスクに 512 個の CPU を割り当てているようです!
私は何を間違えましたか？