問題タブ [ofed]

RHEL 6.2 で Mellanox Connext-X 3 QDR カードを使用しています。SDPが含まれているため、1.5.4をOFEDしました。非ブロッキング モードでソケットを構成する TCP アプリに対して SDP を LD_PRELOAD モードで使用すると、EAGAIN エラー メッセージが表示されます。何かご意見は？

InfiniBand で MPI ジョブを実行すると、次のような摩耗が発生します。トルクマネージャーを使用しています。

警告メッセージのリンクを読みましたが、これまでに行ったことは次のとおりです。

1. に追加options mlx4_core log_num_mtt=20 log_mtts_per_seg=4し/etc/modprobe.d/mlx4_en.confます。
2. 次の行が書かれていることを確認してください/etc/security/limits.conf
   • * soft memlock unlimited
   • * hard memlock unlimited
3. session required pam_limits.soに追加/etc/pam.d/sshd
4. ulimit -c unlimitedがコメント解除されていることを確認してください/etc/init.d/pbs_mom

足りないものを見つけるのを手伝ってくれる人はいますか?

現在、私はApache の Commons Net ライブラリを使用して、ある AIX サーバーから別のサーバーに FTP プロトコルを介していくつかのアプリケーション ファイル (2KB から 200MB) を転送しています。スケーラブルな I/O 相互接続として機能する、高性能、低遅延、信頼性の高いスイッチ ファブリックを提供するInfinibandまたはOFED (OpenFabrics Enterprise Distribution)を介したSDP (Socket Direct Protocol)など、別のプロトコルが存在することを知りました。Java 7 以降では、このプロトコルの SDP 用 Ja​​va API が提供されています。

FTP から SDP への移行の重要性と課題について詳しく説明できる人はいますか?

アプリケーションにインフィニバンド ドライバーの OFED 3.18r2 実装を使用しています。特に、rdma 接続マネージャーのラッパー関数を使用しています。内部で何が起こっているのかをよりよく理解するために、私はソースコードを見ることに慣れています。こうやってパターンみたいなのが出てくるんだけど理解できない。例を挙げましょう。rdma 接続マネージャー関数は cma.c にあります。rdma_listen 呼び出しの例を見てください (これは、「rdma_」で始まるライブラリで定義されているほぼすべての関数に共通です)。

ここで、前に述べたパターンを見ることができます。

write 呼び出しの最初の引数は、 /dev/infiniband/rdma_cmに関連付けられたファイル記述子ですが、 cmd引数の使用法を理解できません。ソースを調べてみると、 cmdが rdma cm 関数呼び出しの ABI 定義に使用される構造体であることがわかりました。これがデバイスドライバー呼び出しを実行する一般的なパターンであるかどうか、およびそれがどのように機能するか、cmd引数に関連付けられた実際のコードはどこにあるのか、私には本当にわかりません。手伝っていただけませんか？

JSOR と jVerbs の両方の基本的な理解があります。

どちらも JNI の制限を処理し、高速パスを使用して待ち時間を短縮します。どちらも、ユーザー動詞 RDMA インターフェイスを使用して、コンテキスト スイッチを回避し、高速パス アクセスを提供します。どちらにも、ゼロコピー転送のオプションがあります。

違いは、JSOR がまだ Java Socket インターフェースを使用していることです。jVerbs は新しいインターフェースを提供します。jVerbs には、Stateful Verbs Call と呼ばれるものもあり、RDMA リクエストのシリアル化の繰り返しを回避します。これにより、レイテンシが短縮されると言われています。jVerbs はよりネイティブなインターフェースを提供し、アプリケーションはこれらを直接使用できます。jVerbs SoCC 2013 の論文を読んで、jVerbs の上に jverbsRPC を構築し、Zookeeper と memcache 操作のレイテンシを大幅に短縮することを示しました。

どちらのドキュメントも、TCP/IP、SDP、および IPoIB に基づく通常の Java ソケットよりもパフォーマンスが優れていることを示しています。

JSOR と jVerbs のパフォーマンス比較はありません。jVerbs は JSOR よりもパフォーマンスが良いと思います。しかし、JSOR を使用すると、同じ Java ソケット インターフェイスを引き続き使用するため、既存のコードを変更する必要はありません。私の質問は、JSOR と比べて jVerbs を使用した場合のパフォーマンスの向上は何かということです。誰かがこの2つを扱ったことを知っているか経験がありますか? 比較データがあれば大変助かります。何も見つかりませんでした。

RDMA メッセージを送受信できるカーネル モジュールを開発したいと考えています。Mellanox ライブラリをカーネル空間から呼び出すことができるかどうか疑問に思っています。

カーネルモジュールから Mellanox RDMA 関数を呼び出すことはできますか?

回答:ここに動作するコードがあります: https://github.com/jcarreira/disag-firebox

メモリ ウィンドウを使用しようとしていますが、 ibv_alloc_mwを呼び出すと(両方のタイプの MW で) EPERM (errno=1) が発生します。

Mellanox ConnectX-3 カードと次の OFED があります。

私のカードはこの機能をサポートする必要があるようです:

Mellanox OFEDで rping を実行すると、同じエラーが発生します。

ibv_alloc_mw は Mellanox でもサポートされていますか?

編集：

ConnectX-4 カードにアクセスしましたが、同じエラーが発生しました。また、メモリ ウィンドウ オプションを指定してrpingを実行しようとすると、エラーがログに記録されることもわかります。

Infiniband ネットワークをセットアップしていますが、異なるソフトウェア スタックの違いを完全には把握していません。

• OFED https://www.openfabrics.org/ofed-for-linux/
• MLNX OFED https://www.mellanox.com/page/products_dyn?product_family=27&mtag=linux_driver
• インボックス ドライバーhttps://www.mellanox.com/page/inbox_drivers?ssn=rqv8l7g7mctjofplp2sgdg35k5

それらは互いにどのように関連しており、なぜこれらの 1 つを優先する必要があるのでしょうか?