問題タブ [rdma]

カーネル モジュールを使用して、Infiniband のカーネル空間で RDMA 転送を行っています (krping.cリンク: git.openfabrics.org Git - ~sgrimberg/krping.git/summary)。私が持っているカードは、Mellanox ConnectX-4 (ドライバー: mlx5)、Linux カーネル バージョン: 3.13、Ubuntu 12.04、および Mellanox OFED 3.3 です。

mutex_lockinmlx5_ib_query_qp関数 (mlx5_ib.h)の取得でコードがスタックしているようです。krping.cを使用してモジュールから呼び出されますib_req_notify_cq function。このエラー/デッドロックを解決する方法について助けてもらえますか? この投稿にdmesgトレースを添付しています。

Dmesg トレース:

クライアント側：

サーバ側：

クライアント側はカーネル空間で記述され、サーバー側はユーザー空間で記述されます。wc.status は 12 を返します。これにはどのような問題が考えられますか?

私の質問は非常に単純です。マシンの CPU/OS に障害が発生した場合、そのメモリはリモート マシンからリモート ダイレクト メモリ アクセス (RDMA) 経由で引き続き使用できますか?

ib_saから関数 ib_sa_path_rec_get に渡されるパラメーターコンテキストは何ですか?

《<a href="http://gg.qwghq.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0ahUKEwj5pYTRtq7PAhXHGZQKHfSODpcQFggeMAA&url=%68%74%》と呼ばれるドキュメント ablut InfiniBand を読んでいます。 74%70%3A%2F%2F%69%6E%66%69%6E%69%62%61%6E%64%2E%73%6F%75%72%63%65%66%6F%72% 67%65%2E%6E%65%74%2F%48%57%44%72%69%76%65%72%73%2F%48%43%41%5F%44%44%4B%2F% 56%49%47%5F%53%46%2E%70%64%66&usg=AFQjCNEbpysn29AOR16rHbhFiYHl_qtfUA" rel="nofollow">InfiniBand™ Host Channel Adapter Verb Implementer's Guide》--インテル、第 6.2.2 章で、 「ドアベル」と呼ばれる概念ですが、IB 仕様でこの概念に関する情報を見つけられませんでした。ドアベルは通知メカニズムなのか、それとも何か他のものなのだろうか？それについて何か詳細がありますか？ありがとうございました！

メモリ ウィンドウを使用しようとしていますが、 ibv_alloc_mwを呼び出すと(両方のタイプの MW で) EPERM (errno=1) が発生します。

Mellanox ConnectX-3 カードと次の OFED があります。

私のカードはこの機能をサポートする必要があるようです:

Mellanox OFEDで rping を実行すると、同じエラーが発生します。

ibv_alloc_mw は Mellanox でもサポートされていますか?

編集：

ConnectX-4 カードにアクセスしましたが、同じエラーが発生しました。また、メモリ ウィンドウ オプションを指定してrpingを実行しようとすると、エラーがログに記録されることもわかります。

RDMA Aware Programming User Manualの付録 D に記載されている Cross-Channel Communication サポートを使用しようとしています。残念ながら、特定の関数の引数の意味について少し混乱しています。

私の質問

ibv_exp_post_send()および関数はibv_exp_post_task()、それぞれ作業リクエスト構造体のリンクされたリストと作業リクエスト構造体のコレクション*を取ります。その構造体の cq_count と wqe_count の意味は何ですか?

最初の作業リクエスト/完了の番号は常に 1 で、後続の作業リクエスト/完了は直線的に増加していますか? それとも、ibv_exp_post_task() 呼び出しの間や、いくつかのリクエストが処理された後に減少するなど、時々リセットされますか? 数値は ibv_exp_post_send または ibv_exp_post_task の間で一致していますか?

^{_{*技術的には、作業要求のリンクされたリストを含むタスクのリンクされたリストへのポインタ。}}

私はrdmaプログラミングは初めてで、現在ib動詞とrdma cmaを使用して単純なクライアント/サーバーをセットアップしていますが、壁にぶつかっています。サーバーが実行されて接続を待ちますが、クライアントは rdma_create_qp() で失敗するため接続しません。これを解決するためにどのような情報が必要かはわかりませんが、要求に応じて必要な情報を編集します (現在、コードに表示される相対情報のスニペット)。