問題タブ [infiniband]

関数 ibv_get_cq_event() はブロックし、すべてのリソースを破棄した後でも戻りません。

すべての InfiniBand リソースを初期化し、別のスレッドで ibv_get_cq_event を起動してから、すべての InfiniBand リソースを破棄しますが、ibv_get_cq_event は返されません。

適切な初期化および破棄 IB (RDMA) とは何ですか?

関数 ibv_post_recv() は -1 を返しますが、ドキュメントによると、errno を返す必要があります。

この場合、失敗の理由を知るにはどうすればよいですか?

よろしくお願いします、

RHEL 6.2 で Mellanox Connext-X 3 QDR カードを使用しています。SDPが含まれているため、1.5.4をOFEDしました。非ブロッキング モードでソケットを構成する TCP アプリに対して SDP を LD_PRELOAD モードで使用すると、EAGAIN エラー メッセージが表示されます。何かご意見は？

7 ノード クラスタで大きな行列の変換を実行するアプリケーションを実行しています。ノードは QDR 40 Gbit Infiniband 経由で接続されます。Open MPI 1.4.3 がシステムにインストールされています。

特定の行列変換では、各アルゴリズム ステップで 1 つのノードがデータを送信し、他のすべてのノードが受信するような方法で、ノード間で大規模なデータ交換が必要になります。プロセスの数は、使用されるノードの数と同じです。私は MPI に比較的慣れていないと言わざるを得ませんが、これを実行する理想的な方法は MPI_Bcast を使用することであると思われました。

それほど大きくないマトリックスでは、すべてがうまくいきました。ただし、マトリックスのサイズが大きくなると、ある時点でアプリケーションがハングし、永遠にそこにとどまります。

完全にはわかりませんが、コードにエラーはないようです。MPI_Bcast の特定の呼び出しの前に未完了の集合操作があるかどうかを確認するために詳細にトレースしましたが、すべて問題ないようです。また、その特定の呼び出しに対して、メッセージのタイプとサイズだけでなく、root がすべてのプロセスで正しく設定され、もちろん、MPI_Bcast がすべてのプロセスで呼び出されます。

また、これがいつ発生するかを把握するために、多くのシナリオ (さまざまなサイズのマトリックスでアプリケーションを実行し、プロセス数を変更する) を実行しました。観察できることは次のとおりです。

• 同じサイズの行列の場合、プロセスの数を決定すると、アプリケーションは正常に終了します
• ただし、指定された数のプロセスでは、アプリケーションはわずかに大きなマトリックスでハングします
• プログラムがハングしている特定の行列サイズとプロセス数について、各 MPI_Bcat 呼び出しでメッセージのサイズを 2 回縮小すると (もちろん、結果は正しくありません)、ハングすることはありません。

そのため、MPI が使用するいくつかのバッファーに問題がある可能性があり、デフォルトの MCA パラメーターを変更する必要があるように思えますが、前述したように、MPI プログラミングの経験があまりなく、見つけられませんでした。この問題の解決策。したがって、問題は、誰かが同様の問題を抱えているかどうかであり、適切な MCA パラメータを設定することでこれを解決できるかどうか、または他の解決策や説明を知っているかどうかです。

インフィニバンド (RDMA) で使用できるケーブルの最大長は?

例えば。ここでは、4 チャネルの銅線ケーブルで最大10 Mになる可能性があると述べています。また、標準の InfiniBand 4x および最大100 Mのイーサネット 10GBaseCX4 と完全に電気的に互換性のあるファイバーを使用した接続ケーブルを使用します。

http://electronicdesign.com/communications/system-extends-infiniband-cable-reach-100-m

プロジェクトに SoftiWARP を使用しようとしています。Ubuntu 10.04サーバーを使用していることを除いて、ここの指示に従ってインストールしました。

テストするために、the-geek-in-the-corner ( https://github.com/tarickb/the-geek-in-the-corner ) のクライアント サーバー プログラムを使用しました。使用中にエラーやセグメンテーション違反が発生します。たとえば、最初のプログラムのエラー シーケンスは次のとおりです。

1. サーバーを起動します: ./server
2. クライアントを実行します: ./client
3. クライアントを数回 (>=0) 正常に実行できますが、最終的にクライアントで次のエラーが発生します。

アドレス解決。ルート解決。on_event: 不明なイベント。on_completion: ステータスが IBV_WC_SUCCESS ではありません

私の質問は、SoftiWARP でテストされたコードを誰かが持っているかどうかです。また、SoftiWARP の安定性についてコメントをいただければ幸いです (つまり、変更されていない ibverbs コードで動作しますか?)。