問題タブ [mellanox]

[ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE]4コアのx86_64コンピューターで実行されているubuntu 3.13.0で、OFEDバージョン4-1.0.0のInfiniBand Mellanoxカードを使用しています。

ibstatこれが私のコンピューターでの結果です

と私のように/proc/interrupts見える：

mlx4_0-x各割り込みが各 CPU に関連付けられていることを読みました。私の質問は次のとおりです。最初の割り込みはどういうmlx4-async@pci:0000:01:00.0意味ですか? opensmデーモンがまだ実行されていないときに、この割り込みが 5 分ごとに発生することを実験します。

ESXi ラボ用に小さな Mellanox SAN を使用しています。私はこれまで ESXi 5.1 を実行してきたので、経験を積むために 5.5 と 6.0 を試してみることにしました。http://www.mellanox.com/page/products_dyn?product_family=36でドライバーにアクセスすると、次のように表示されました。

注: ESXi 5.X v1.8.2.4 用のドライバーを入手するには、support@mellanox.com にお問い合わせください。

そこで、サポートに問い合わせたところ、次のような回答がありました。

弊社の記録によると、お客様の有効な契約を見つけることができませんでした。

非営利目的のサポート契約なしで合法的にドライバーを入手するにはどうすればよいですか?

私は、Mellanox Infiniband ハードウェアで RDMA を使用している Infiniband/RDMA 初心者です。ここでソースコードを使用しました。このプログラムは、一見したところごく普通に実行されます。サーバーは、RDMA_WRITE 操作を使用してクライアント メモリに数バイトを書き込みます。しかし、後で、書き込み完了構造体 (ibv_wc) によって示される転送バイト数が、ibv_send_wr 構造体に入れたデータの量と一致しないことがわかりました。以下は、rdma_write() での ibv_send_wr 初期化のコードです。

次に、書き込み完了キューに書き込み完了エントリを取得した後、ibv_wc.byte_len を読み取ります。32537、32743、32533 の乱数が表示されます。ibv_wc.status が IBV_WC_SUCCESS と等しいため、転送は成功したと思います。私は何か間違ったことをしましたか？

RDMA メッセージを送受信できるカーネル モジュールを開発したいと考えています。Mellanox ライブラリをカーネル空間から呼び出すことができるかどうか疑問に思っています。

カーネルモジュールから Mellanox RDMA 関数を呼び出すことはできますか?

回答:ここに動作するコードがあります: https://github.com/jcarreira/disag-firebox

2TB のメモリを搭載したファット ノードがあります。新しい Connect-IB カードでは、MTT を増やしたいので、大きなメモリ領域を登録できます。HowTo Increase Memory Size used by Mellanox Adaptersのこの投稿を見つけましたが、Connect-IB でそれを増やす方法については言及されていませんでした。誰か私に何か提案をしてもらえますか?

ここで見つけることができるkrpringモジュールを機能させようとしています：http://git.openfabrics.org/?p=~sgrimberg/krping.git;a=summary

Mellanox ofed kernel 3.3 を介してドライバーをインストールします。すでに ofa-kernel/default から Module.symvers をコピーしましたが、機能しませんでした。

ubuntu 12.04 と 14.04 の異なるカーネルで試しました。私が使用したカーネルは、3.18、3.5、および 4.0 です。ただし、毎回同じ問題が発生します。誰かが krping をコンパイルして、これを手伝ってくれたら? 特に、カーネルのバージョン、OS、および使用したドライバーのインストール手順。

メイクファイル1

メイクファイル2

上記は、モジュールをコンパイルしようとした 2 つの makefile です。私が試すことができる変更を提案してください。

カーネル モジュールを使用して、Infiniband のカーネル空間で RDMA 転送を行っています (krping.cリンク: git.openfabrics.org Git - ~sgrimberg/krping.git/summary)。私が持っているカードは、Mellanox ConnectX-4 (ドライバー: mlx5)、Linux カーネル バージョン: 3.13、Ubuntu 12.04、および Mellanox OFED 3.3 です。

mutex_lockinmlx5_ib_query_qp関数 (mlx5_ib.h)の取得でコードがスタックしているようです。krping.cを使用してモジュールから呼び出されますib_req_notify_cq function。このエラー/デッドロックを解決する方法について助けてもらえますか? この投稿にdmesgトレースを添付しています。

Dmesg トレース:

クライアント側：

サーバ側：

クライアント側はカーネル空間で記述され、サーバー側はユーザー空間で記述されます。wc.status は 12 を返します。これにはどのような問題が考えられますか?