7

CでMPIを使用してマトリックスを転置しようとしています。各プロセスには正方形のサブマトリックスがあり、それを正しいプロセス（グリッド上の「反対側」のプロセス）に送信して、通信の一部として転置します。

私は、それぞれ行メジャーと列メジャーのいずれか、またはMPI_Type_create_subarray順序の引数を持つwhichを使用しています。これらの1つとして送信し、もう1つとして受信した場合、私のマトリックスは通信の一部として転置されると思いました。ただし、これは発生しないようです。転置されないままです。MPI_ORDER_CMPI_ORDER_FORTRAN

コードの重要な部分は以下のとおりです。コードファイル全体は、この要点で入手できます。なぜこれが機能しないのか誰かが何か考えを持っていますか？転置作業を行うためのこのアプローチは必要ですか？MPI_ORDER_Cとの説明を読んだら、そうなると思っていたでしょうが、そうではMPI_ORDER_FORTRANないかもしれません。

/* ----------- DO TRANSPOSE ----------- */
/* Find the opposite co-ordinates (as we know it's a square) */
coords2[0] = coords[1];
coords2[1] = coords[0];

/* Get the rank for this process */
MPI_Cart_rank(cart_comm, coords2, &rank2);

/* Send to these new coordinates */

tag = (coords[0] + 1) * (coords[1] + 1);

/* Create new derived type to receive as */
/* MPI_Type_vector(rows_in_core, cols_in_core, cols_in_core, MPI_DOUBLE, &vector_type); */
sizes[0] = rows_in_core;
sizes[1] = cols_in_core;

subsizes[0] = rows_in_core;
subsizes[1] = cols_in_core;

starts[0] = 0;
starts[1] = 0;

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_FORTRAN, MPI_DOUBLE, &send_type);
MPI_Type_commit(&send_type);

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_C, MPI_DOUBLE, &recv_type);
MPI_Type_commit(&recv_type);


/* We're sending in row-major form, so it's just rows_in_core * cols_in_core lots of MPI_DOUBLE */
MPI_Send(&array[0][0], 1, send_type, rank2, tag ,cart_comm);

/* Receive from these new coordinates */
MPI_Recv(&new_array[0][0], 1, recv_type, rank2, tag, cart_comm, &status);
4

1 に答える 1

9

これもうまくいくと思っていたのですが、どうやらそうではないようです。

結果のタイプマップを実際に定義するMPI標準の関連ビットを調べてみると、理由が明らかになりMPI_Type_create_subarrayます。サブ配列が完全な配列に取り込む領域をマップしますが、メモリを線形の順序で行進するため、データはレイアウトは変更されません。言い換えると、サイズがサブサイズと等しい場合、サブアレイは単なるメモリの連続ブロックです。配列全体よりも厳密に小さいサブ配列の場合、データの順序ではなく、送信/受信されるサブ領域を変更するだけです。サブリージョンのみを選択すると、効果がわかります。

int sizes[]={cols,rows};
int subsizes[]={2,4};
int starts[]={1,1};

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_FORTRAN, MPI_INT, &ftype);
MPI_Type_commit(&ftype);

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_C, MPI_INT, &ctype);
MPI_Type_commit(&ctype);

MPI_Isend(&(send[0][0]), 1, ctype, 0, 1, MPI_COMM_WORLD,&reqc);
MPI_Recv(&(recvc[0][0]), 1, ctype, 0, 1, MPI_COMM_WORLD, &statusc);

MPI_Isend(&(send[0][0]), 1, ctype, 0, 1, MPI_COMM_WORLD,&reqf);
MPI_Recv(&(recvf[0][0]), 1, ftype, 0, 1, MPI_COMM_WORLD, &statusf);

/*...*/

printf("Original:\n");
printarr(send,rows,cols);
printf("\nReceived -- C order:\n");
printarr(recvc,rows,cols);
printf("\nReceived: -- Fortran order:\n");
printarr(recvf,rows,cols);

あなたにこれを与えます：

  0   1   2   3   4   5   6 
 10  11  12  13  14  15  16 
 20  21  22  23  24  25  26 
 30  31  32  33  34  35  36 
 40  41  42  43  44  45  46 
 50  51  52  53  54  55  56 
 60  61  62  63  64  65  66 

Received -- C order:
  0   0   0   0   0   0   0 
  0  11  12  13  14   0   0 
  0  21  22  23  24   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0 

Received: -- Fortran order:
  0   0   0   0   0   0   0 
  0  11  12   0   0   0   0 
  0  13  14   0   0   0   0 
  0  21  22   0   0   0   0 
  0  23  24   0   0   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0

したがって、同じデータが送受信されます。実際に起こっているのは、配列のサイズ、サブサイズ、および開始が逆になっていることだけです。

MPIデータ型を使用して転置することができます（標準ではいくつかの例が示されていますが、そのうちの1つをここでCに音訳しました）が、型を自分で作成する必要があります。良いニュースは、それが実際にはサブアレイのものよりも長くないということです：

MPI_Type_vector(rows, 1, cols, MPI_INT, &col);
MPI_Type_hvector(cols, 1, sizeof(int), col, &transpose);
MPI_Type_commit(&transpose);

MPI_Isend(&(send[0][0]), rows*cols, MPI_INT, 0, 1, MPI_COMM_WORLD,&req);
MPI_Recv(&(recv[0][0]), 1, transpose, 0, 1, MPI_COMM_WORLD, &status);

MPI_Type_free(&col);
MPI_Type_free(&transpose);

printf("Original:\n");
printarr(send,rows,cols);
printf("Received\n");
printarr(recv,rows,cols);



$ mpirun -np 1 ./transpose2 
Original:
  0   1   2   3   4   5   6 
 10  11  12  13  14  15  16 
 20  21  22  23  24  25  26 
 30  31  32  33  34  35  36 
 40  41  42  43  44  45  46 
 50  51  52  53  54  55  56 
 60  61  62  63  64  65  66 
Received
  0  10  20  30  40  50  60 
  1  11  21  31  41  51  61 
  2  12  22  32  42  52  62 
  3  13  23  33  43  53  63 
  4  14  24  34  44  54  64 
  5  15  25  35  45  55  65 
  6  16  26  36  46  56  66
于 2011-04-13T20:53:18.927 に答える