問題タブ [hpc]

大規模な 3D グリッドで計算を行い、MPI を使用して機能するようにハロー交換手順を使用するコードを書いています。コードから間違った結果が得られます。これは、ハロー交換が適切に機能していないことが原因であると確信しています。

基本的に、私は大きな 3D 配列を持っており、そのチャンクは各プロセスに保持されています。各プロセスには、保持しているデータのチャンクよりも各次元で 2 要素大きい配列があります。これにより、配列の残りの部分に格納されているデータに影響を与えることなく、配列の各面にハロー交換を行うことができます。ハロー交換通信を行う次のコードがあります。

g->nx、g->nyおよびg->nzは、このプロセスが保持している配列チャンクのサイズでありg->west、g->east、g->north、g->south、g->upおよびg->downは、次のコードを使用して検出された各方向の隣接プロセスのランクです。

各プロセスの配列は次のように定義されます。

(ハロー交換を行ったら、更新ルーチンを介して毎回更新する必要があるため、2 つのコピーがあります)。

私がコミュニケーションを正しく行っているかどうか、誰か教えてもらえますか? 特にベクトル型の定義。コードで定義したベクター型は、3D 配列の各面を抽出しますか? そして、MPI_Sendrecv 呼び出しは正しく見えますか?

なぜ私のコードが機能しないのか完全に理解できませんでしたが、通信に関連していることは確かです。

私の会社は、科学的な計算を実行するために、さまざまなグリッドとクラウドの代替案をテスト/比較しています。
DavidChappellによるHPC/Azureトピックに関する興味深いホワイトペーパーを読みました。これは「概念」の観点から優れていますが、これはかなり新しく最先端であるため、マウント用の完全な「愚かなガイド」を見つけるのに苦労しました。ダミーの「HelloHPC-CloudWorld」マルチスレッド.Netプログラムを備えたHPCサーバー。ノードをクラウドに配置します。

私は数日間ものを読んだり試したりしてきましたが、これは鬱蒼とした森であることを認めなければならないので、少し迷っています。HPCを試してみるためだけに、1か月間リソースを割り当てる余裕はありません。誰かがこれを手伝ってくれるなら、それは私たちのような初めてのテスターや冒険家にとって貴重な時間を節約するでしょう:-)

平和。

注意：ここでより正確なものを求めるコメント/質問を予想する：私が理想的に探しているのは、HPCサーバーをオンサイトにマウントする方法、Azureノード（または他のWindows）にノードを割り当てる方法について、最初からガイドする方法です。サーバーR2VMが理想的です）（これはクラウド部分です）、ダミーの「hello-world」.Netアプリを展開します。このアプリには、さまざまなノード（グリッド部分）に割り当てられる数百のスレッドがあります。

編集1： MSが提供する非常に優れたオンラインHPC仮想ラボがあります。残念ながら、それはどんどん押しつぶされ続けたので、私たちは普通の「紙」ガイドを見つけようとしています。

編集2： 聞いて...あなたはここにこの音??? よく聞いてください...それは砂漠に吹く風の音です。「Feeeeeeeeeeeeeeeeeewwwwwwwwwwwww」...そこに転がるタンブルウィードが見えますか？誰かが答えるのを待っているのは私の悲しくて孤独な質問です:-)

私は SSIS を初めて使用し、その並列処理機能を使用してデータベースからデータをインポートしようとしています。

私の仕事はこれを行うことです: 数テラバイトのデータベースを一連のフラット ファイルにできるだけ早くインポートします。

私はこれを考えていました：

Microsoft Server 2008 HPC クラスター (3 ノード) を自由に使用できます。HPC SOA ジョブを作成して、3 つの計算ノードすべてが SQL Server に独立して接続し、データの一部を並行してインポートできるようにすることを考えていました。もちろん、これは SSIS とは何の関係もなく、独立したユーティリティになります。

その後、SSIS とその並列インポート機能に出会いました。私のSSISサーバーはあまりハイエンドではありません.4GBのマシンしかありません。私はどういうわけかSSISを使用する傾向があります.SSISはデータインポートを行うための理想的なMicrosoftの方法です.

カスタム タスク (または利用可能なもの) を使用し、このインポートを並行して行う最良の方法は何ですか?

ユーザーがジョブを送信するヘッドノード/ブローカーノードを選択できるように、UI コンポーネントにドロップダウンを作成したいと考えています。このドロップダウンに、ネットワーク上のヘッド/ブローカーを入力したいと思います。

これをさらに進めて、選択したノードで利用できる SOA サービスについてフィードバックを提供することもお勧めします。

これを行うためのきちんとした方法についてのアイデアや提案をいただければ幸いです。

ありがとう！

-編集-このMicrosoftの例が示すように、アクティブディレクトリを使用できます

http://msdn.microsoft.com/en-us/library/cc907077(v=vs.85).aspx

1 つのヘッドノードと複数の計算ノードを含む計算クラスターをインストールしています。これは、複数の環境間で共有されます。無人ビルド アップグレードがあると、問題が発生します。Robocopy は、使用されているファイルについて不平を言って失敗します。

使用されている環境に関する情報を取得するために使用できる WMI クラスはありますか? 可能であれば、その特定の環境で実行されているプロセスを停止して、アップグレードを続行できます。

どんな助けでも大歓迎です。

ありがとう！サンジーブ

cluscfg setcreds /scheduler:scheduler1 /user:domain2\user1 /password:pass を使用して (ジョブを実行するための) 資格情報を設定しようとしています

「サーバーはクライアント資格情報を拒否しました」と表示されます

クライアント マシンは domain1 にあります。

質問: 1. これはドメインを越えることに関連していますか? 2. これは、アカウントの何らかの属性に関連していますか? HPC ジョブを実行するための十分な特権がアカウントにないということですか?

私は奇妙な問題に遭遇しました。私はいくつかの線形代数を実装していますが、これまでのところ行列乗算のみを OpenCL で実装しており、ラップトップでこれをテストしています。コードは非常に単純です。

次のようにコードを 100 回実行して、ハードウェアをテストします。

私の MBP では、matrix_multiplications はサイズ 512*512 の行列で約 1.2 ミリ秒かかり、GTX 480 Linux ボックスで同じコードを実行すると約 3 ミリ秒かかります。高価な GTX カードがラップトップより少し速いとは思わないので、これは気になります。

私が見ることができる限り、私のコードは「間違っている」か、間違った方法でタイミングを取っています。

OpenCL 仕様でイベントベースのタイミング システムを使用してみました。これにより、もう少し現実的な結果が得られました。

これで、GT330M は 46 ミリ秒で操作を実行し、GTX480 は 2.5 ミリ秒で操作を実行します。これは、別の非常に興味深い質問になります。PROFILING をオンにすると、GT 330M は約 30 倍遅くなります。これは理にかなっていますが、GTX480 は同じパフォーマンスを維持します。これがなぜなのか説明できる人はいますか？

私は現在、HPCの標準的な並列化アプローチ（MPI、OpenMP、またはHydridアプローチなど）の代替として、UnifiedParallelCのいくつかの側面を調査しています。

私の質問は次のとおりです。大規模なアプリケーション（〜> 10.000コア）でのUPCパフォーマンスの経験はありますか？私は主に共有メモリのアクセス速度に興味があります。明らかに、これは基盤となるハードウェア、ネットワーク接続、オペレーティングシステム、コンパイラなどに依存します。しかし、私は一般に、UPCを使用したあらゆる種類の「現実の」問題解決に関心があります。

さらに、UPCの一般的な印象は何ですか？将来は今よりも広く使われる可能性があると思いますか？それに切り替える価値はありますか？

コメントは大歓迎です！

どうもありがとう、マーク

私は自分の学部プロジェクトのアイデアを探しています。私はハイ パフォーマンス コンピューティングの分野がとても好きで、研究の余地がたくさんあります。検討する価値のあるアイデアや既存のオープン ソース プロジェクトはありますか?

DISTRIBUTEHigh Performance Fortran（HPF）では、ディレクティブを使用して、並列計算に関係する配列の分布を指定できました。たとえば、次の最小限のサブルーチンは、2つの配列を並列に合計します。

私の質問は、DISTRIBUTEディレクティブは必要ですか？私は実際にはこれがほとんど興味がないことを知っていますが、装飾されていない、ディレクティブのないFortranプログラムも有効なHPFプログラムである可能性があるかどうかについて興味がありますか？