問題タブ [mellanox]

I am trying to run dpdk applications with Mellanox ConnectX-6 and getting the error as stated in the title.

sriov ネットワークを使用してポッドを作成するときに、次の問題に直面しています。使用しているデバイス ドライバーの出力が表示されたとき

ハードウェアとの通信に問題があるようです。以下にリストされているシステムの詳細:

以下はネットワーク yaml です。

ポッド yaml:

ポッド作成結果:

その後、デバイスドライバーの出力が表示されると、この問題が発生しました*mlx5_core 0000:b5:00.0: mlx5_cmd_check:772:(pid 5271): CREATE_SQ(0x904) op_mod(0x0) failed, status bad parameter(0x3), syndrome (0xd61c0b)*.

どんな助けも受けられるのは素晴らしいことです。前もって感謝します。

私は dpdk 19 アプリケーションを持っており、32 rx multiqueue with RSS を使用して nic(MT27800 Family [ConnectX-5] 100G) から読み取ります。

したがって、dpdk を使用して nic からトラフィックを受信する 32 のプロセスがあります。各プロセスは異なるキューから読み取り、データを mbuf から割り当てられたメモリにコピーし、6MB に蓄積して、ロックレス キューを介して別のスレッドに送信します。他のスレッドは書き込みのみを行います。データをディスクに。その結果、I/O 書き込みは Linux メモリにキャッシュされます。

すべてのプロセスは CPU アフィニティで実行され、grub には isolcpus があります

これは、キューから読み取る 32 のプロセスのそれぞれで何が起こるかを示す小さな疑似コードです。実際のコードを入れることはできません。多すぎます。

サーバーのメモリが完全にキャッシュされると (まだ利用可能であることはわかっています)、nic でドロップが発生し始めます。

毎分ディスクからデータを削除すると、キャッシュされたメモリが解放されて解放され、nic でドロップしなくなります。したがって、ドロップはキャッシュされたデータに明確にリンクされています。最初のドロップまで、アプリケーションは 2 時間ドロップなしで実行を受け取ることができます。プロセスは、各プロセスが 500 MB のメモリをあまり使用しません。

nic でのドロップを回避するにはどうすればよいですか?

Centos 9.7 linux 3.10.0-1160.49.1.el7.x86_64 を使用しています。

centos 7.9 3.10.0-1160.53.1.el7.x86_64 を搭載したサーバーがあります

私のdpdk 19マルチプルプロセスアプリケーションを実行すると、ソフトロックアップが発生します

私が実行しているサーバーには、2つのixgbe 10Gと1つの100G connectx-5があります

dpdk が Mellanox カードを使用しない場合、ソフトロックアップは発生しません

dpdk が複数のプロセスを使用しない場合 (-l 1-62 なし)、ソフトロックアップは発生しません

10G からはすべてのパケットがドロップされます (Rx が失われます)。

dmesg からのログ