問題タブ [hpc]

Windows Server 2008 SE および 64 プロセッサで実行されているマルチプロセス .NET (F#) 科学シミュレーションがあります。シミュレーションの各時間ステップは、1.5 秒から 2 秒まで振動します。各プロセスは他のプロセスを待機する必要があるため、全体の速度は最も遅いプロセスの速度になります (2 秒 * 反復回数)。したがって、プロセスの振動を可能な限り減らす必要があります。

一連のプロセスに、計算に使用できるまったく同じ「計算時間」を強制する方法はありますか?

Snow を使用して R で並列ジョブを実行しようとしています。古いバージョンの R と Snow で、非常によく似たジョブを問題なく実行できました。R パッケージの依存関係により、元に戻すことができません。

何が起こるか:私のジョブはparRapplyステップで終了します。つまり、ノードが最初にレポート以外のことをしなければなりませんSys.info()。エラーメッセージは次のとおりです。

仕様: R 2.14.0、snow 0.3-8、RedHat Enterprise Linux Client リリース 5.6。Snow パッケージは、正しいバージョンの R でビルドされています。

詳細: 次のコードは正常に実行されるようです。

私はエンド ユーザーであり、システム管理者ではありませんが、何がうまくいかないのかについての提案や洞察を切望しています。

並列コンピューティングまたは HPC でいくつかのプロジェクトを実行する必要があります。その上で優れたプロジェクトを提案してくれる人はいますか?プログラミング言語として Python を使用したいのですが、これらにも使用できますか? これで私を助けてください。前もって感謝します。

論文では、アルゴリズムの実装にPythonを使用した理由について説明したいと思います。適切なライブラリを使用すると高速であり、アルゴリズムを簡単に実装できるという一般的な議論に加えて、それを使用している大きなHPCプロジェクトがいくつかあるのではないかと思いました。

大規模な並列計算にPythonを使用する有名なプロジェクトを知っている人はいますか？おそらく私が引用できる論文を使用していますか？

私がアクセスできる PBS システムでは、-W x=NACCESSPOLICY:SINGLEJOBフラグを使用していくつかのジョブを実行していますが、このフラグを追加すると、同じジョブに約 10% 長くかかるようです。これは正しい動作ですか？もしそうなら、それは私を驚かせます.ノード全体に単独でアクセスできると、どちらかといえば、より多くのメモリにアクセスできるため、ジョブの実行にかかる時間がわずかに短縮されると思っていたからです.

Microsoft は、Azure 上の Hadoop のプレビュー バージョンを発表しました。JavaScript を使用して、Hadoop で MapReduce ジョブを作成することもできます。

過去数年間、ブラウザーの JavaScript でパフォーマンスを改善するために多くの作業が行われてきたことを私は知っています (特にV8 )。JavaScript を HPC (ハイ パフォーマンス コンピューティング) に使用した事例や経験を共有できる人はいますか?

Rhinoを使用した Hadoop での JavaScript の使用に関する興味深い記事を次に示します。

CentOS5を実行している4台のサーバーにCondorをインストールし、これら4台の専用マシンを使用してHPCクラスターを形成する予定です。RedhatRPMファイルを使用してCondorをインストールできますか、別のファイルがあり、どのタイプのインストールを使用する必要がありますか。同じ手順です。異なる構成または異なるインストール手順で？

これは私が使用したインストール手順です：http：//bit.ly/A7Xddl

よろしく。

OpenMPを使用して並列化する特定の問題を起動しています。大量のデータを処理する同じコードの特定の回数の反復を実行します。OpenMPが適用されるレベルにあり、各スレッドがサブボリュームを処理するようにします。すべてのイテレーションには、すべてのサブボリュームと同様に同じワークロードが必要です。

ICCでコンパイルすると、予想どおり、反復は常に同じ時間続きます。しかし、奇妙なことがあります。GCCでコンパイルすると、反復あたりの時間が増加し始め、最大に達し、その後、安定する特定の値に達するまで再び減少します。OpenMPなしでコンパイルされた同じプログラムは、ICCまたはGCCを使用する場合に違いはありません。

それらのコンパイラのOpenMPでの動作を観察した人はいますか？

[編集1]：ガイド付きおよび静的スケジューリングポリシーがテストされました。

[編集2]：コードは次のようになります。

ここで、COMPは、位置k + j * N + i * NN（およびそれらの隣接するもの）のa、b、cの値のある種の線形適用を実行します。重要なのは、GCCとICCのこのコードが私が説明した問題を引き起こしたということです。重要なのは、a、b、c、dの初期化を0.0f（f.ex、0.5f）以外の値に変更して、タイムステップごとに費やされる時間が増加しないことを発見したことです。

[編集3]：GOMPのせいではないようです。OpenMPを無効にしても同じことが起こります。繰り返しになりますが、ICCあり（openmpなしまたはあり）はまったく発生しません。このスレッドを閉じる方法はありますか？

中央マネージャーからコマンドcondor_statusを実行すると、ミドルウェアとしてcondorを使用して3台のサーバーを接続し、HPCクラスターを形成します。中央マネージャーでジョブを実行し、SSH経由で他のノードに接続できる他のノードは表示されませんが、中央マネージャーをコンドルホストとして設定し、すべてのユーザーが書き込みと読み取りを行えるようにするコンドル構成ファイルに何かが欠けていること。デーモンMASTER、STARTDをワーカーノードのデーモンリストに保持します。

セントラルマネージャーでcondor_statusを実行すると、セントラルマネージャーが表示され、計算ノードで実行すると、「CEDAR：6001：Failed to connect to」というエラーが表示され、その後にセントラルマネージャーのIPとポート番号が表示されます。

プログラムを実行すると、Open MPI から次の警告が表示されます。

Open MPI FAQ を確認したところ、解決方法が説明されていました。私の質問は次のとおりです。プログラムは最後まで動作していますが、この警告は効率や結果に影響しますか? Open MPI が十分なロック メモリを持っていない場合、どのように対処しますか?

編集：

彼らは、これは OpenFabrics の InfiniBand ソフトウェアによって出力された警告であると私に言いました。ただし、InfiniBand ファブリックに接続されていない単一ノードでコードを実行しているため、このエラーを出力するソフトウェアを使用していません (Open MPI FAQ を読んでも理解できませんでした)。