問題タブ [infiniband]

DMA コントローラーを使用せずに Infiniband 経由でデータを送信できますか? また、送信できるパッケージの最小サイズはどれくらいですか?

つまり、現在の CPU1-Core からリモートの CPU2-RAM のメモリに、単純なポインター (つまり、x86-asm のみ: Infiniband アダプターのPCI-Express BARMOV...にデータを送信するだけ) を使用して、DMA コントローラーなしで直接アクセスできますか?

例として、CPU1 から次のようなことができますか。

MVAPICH2 は、InfiniBand やその他の HPC ネットワーク テクノロジ以外の通常のイーサネット ネットワークにインストールできますか?

ここにいくつかの詳細があります。

プロセスが を呼び出すとibv_post_send()、HCA への PCI インターフェイスで何が起こるでしょうか? WQE は PCIe ドアベル内にカプセル化され、プログラムされた IO を介して書き込まれますか? それとも、HCA による別の DMA 読み取りで WQE がフェッチされますか?

プロセスが を呼び出すとどうなりますibv_poll_cq()か? HCA はどのようにして CQE をシステム・メモリーにプッシュしますか? または、プル ベースの場合、CPU は HCA で新しい CQE をどのように検出しますか?

Hadoop-RDMA を 8 ノード IB (OFED-1.5.3-4.0.42) クラスターにデプロイしようとしていますが、次の問題が発生しました (別名ファイル ... は 1 ではなく 0 ノードにしか複製できませんでした):

ローカル ファイル システムから HDFS へのコピーを開始すると、データが DataNodes に転送されないようです。DataNode の可用性をテストしました。

成功したHDFSファイルシステムでmkdirを試みました。Hadoop デーモンを再起動しても、プラスの効果はありませんでした。

この問題について教えてください。ありがとうございました。

ベスト、アレックス

ノードがファット ツリー IB で接続されているクラスターを取得します。スイッチはQlogic 12300です。

私が抱えている問題は、特定のノードが互いに通信できないことです。影響を受けるノードの両方と通信できる他のノードもあります。

問題を診断するために ibtracert を使用しました。驚くべきことは、両方のノードと通信できる別のノードでそのコマンドを実行すると、それらは問題なく実行可能なルートを報告したことです。

ただし、影響を受ける 2 つのノードから ibtracert コマンドを発行すると、エラーが発生します。

これの考えられる理由は何ですか？

ありがとう。

Isis2 (isis2.codeplex.com) を移植して、Infiniband 動詞をより有効に活用し、コードを実行しています。ただし、IB は、一連の受信バッファーを送信し、受信が完了すると、受信データを処理する非同期受信モデルを中心にしています。

ポーリングが遅い: たとえば 2 ミリ秒のブロッキング待機を使用すると、IB データが表示されるまでに 2 ミリ秒も遅延する可能性があります。それは解決策ですが、貧弱なものです。私が本当に望んでいるのは、IB 完了レコードが完了するまで待ってから、スレッドを即座に起動させる方法です (Windows ではこれは簡単ですが、Linux ではそれほど自然ではありません)。誰もこれを行う方法を知っていますか? Verbs を使用する場合、IB ファイル記述子がないため、明らかに select() を使用できません。