問題タブ [supercomputers]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
mpi - MPI_Reduce と (MPI_Gather + ルートの削減) のパフォーマンス
MPICH2 ライブラリを使用した CRAY スーパーコンピュータ。各ノードには 32 個の CPU があります。
N 個の異なる MPI ランクに単一のフロートがあり、これらの各ランクは異なるノードにあります。このフロートのグループに対してリダクション操作を実行する必要があります。N の任意の値について、ルートで計算されたリダクションで MPI_Reduce が MPI_Gather よりも速いかどうかを知りたいです。ルート ランクで行われるリダクションは、N スレッドを利用できる優れた並列リダクション アルゴリズムを使用して行われると仮定してください。 .
N のどの値でも速くない場合、16 のような小さい N や大きい N の場合に当てはまる傾向がありますか?
本当なら、なぜですか？(たとえば、MPI_Reduce は、ツリーの次のレベルと通信するために使用するアプローチでリダクション操作の時間を隠す傾向があるツリー通信パターンを使用しますか?)
python - Python: ディスクからの読み取り時に IOError 110 接続がタイムアウトしました
ファイル ID のリストを読み取り、それぞれをワーカー プロセスに送信して分析し、入力ファイルごとに 1 つの出力をディスクに書き込む、Sun Grid Engine スーパーコンピューティング クラスターで Python スクリプトを実行しています。
問題は、ワーカー関数内のどこかで IOError(110, 'Connection timed out') が発生していることです。その理由はわかりません。以前、大幅に遅延したネットワーク リクエストを行ったときにこのエラーを受け取ったことがありますが、この場合、ワーカーはディスクからデータを読み取ろうとしているだけです。
私の質問は次のとおりです。ディスクからの読み取り時に接続タイムアウトエラーが発生する原因と、このエラーを解決するにはどうすればよいですか? 他の人が提供できるヘルプは非常に高く評価されます。
完全なスクリプト (IOError が に現れますminhash_text()):