c++ - RDMA アトミック操作のエラー

Question

RDMA アトミック操作 (FETCH_ADD および CMP_AND_SWAP) の実行に問題があります。アトミック RDMA 要求を送信しようとすると、ibv_post_send() 関数が失敗し、Errno が「無効な引数」に設定されます。RDMA READ/WRITE ではそのような問題はありません。

次のようにメモリアドレスを登録します。

local_buffer = new uint64_t[1];   // so the memory region is byte-aligned
local_mr = ibv_reg_mr(pd, local_buffer, sizeof(uint64_t),
    IBV_ACCESS_LOCAL_WRITE
    | IBV_ACCESS_REMOTE_READ
    | IBV_ACCESS_REMOTE_ATOMIC));

次のようにキューのペアを作成します。

memset(qp_attr, 0, sizeof(*qp_attr));
qp_attr->send_cq = s_ctx->cq;
qp_attr->recv_cq = s_ctx->cq;
qp_attr->qp_type = IBV_QPT_RC;
qp_attr->cap.max_send_wr = 10;
qp_attr->cap.max_recv_wr = 10;
qp_attr->cap.max_send_sge = 1;
qp_attr->cap.max_recv_sge = 1;
TEST_NZ(rdma_create_qp(id, s_ctx->pd, qp_attr));

そして最後に、次のようにアトミック オペコードを使用して RDMA 操作を送信します。

struct ibv_send_wr wr, *bad_wr = NULL;
struct ibv_sge sge;
memset(&sge, 0, sizeof(sge));
sge.addr        = (uintptr_t)conn->local_buffer;
sge.length      = 8;
sge.lkey        = conn->local_mr->lkey;
memset(&wr, 0, sizeof(wr));
wr.wr_id                    = 0;
wr.opcode                   = IBV_WR_ATOMIC_FETCH_AND_ADD;
wr.sg_list                  = &sge;
wr.num_sge                  = 1;
wr.send_flags               = IBV_SEND_SIGNALED;
wr.wr.atomic.remote_addr    = (uintptr_t)conn->peer_mr.addr;
wr.wr.atomic.rkey           = conn->peer_mr.rkey;
wr.wr.atomic.compare_add    = 1ULL; /* value to be added to the remote address content */
if (ibv_post_send(conn->qp, &wr, &bad_wr)) {
    fprintf(stderr, "Error, ibv_post_send() failed\n");
    die("");
}   

PS librdmacm を使用しているため、INIT と RTR および RTS の間のキュー ペアの遷移は自動的に行われるため、手動で を設定することはできずqp_attr->qp_access_flags、. しかし、私は libibcm にアトミック操作で小さなコードを書き、キューを手動で移行するときにそれらの属性を設定しました。それでも、運が悪い。qp_attr->max_rd_atomicqp_attr->max_dest_rd_atomicibv_modify_qp()