2

MPI 仕様を調べて理解しているのは、MPI 送信プリミティブは、送信するデータが指すメモリ位置 (または送信バッファー) を参照し、その位置にあるデータを取得して、別のプロセスにメッセージとして渡すということです。

特定のプロセスの仮想アドレスが別のプロセスのメモリアドレスでは意味がないことは事実ですが。MPIはデータ自体をメッセージとして渡すため、voidポインターなどのポインターが指すデータを送信しても問題ありません

たとえば、次は正しく機能します。

    // Sender Side.
    int x = 100;
    void* snd;
    MPI_Send(snd,4,MPI_BYTE,1,0,MPI_COMM_WORLD);   

    // Receiver Side.
    void* rcv;
    MPI_Recv(rcv, 4,MPI_BYTE,0,0,MPI_COMM_WORLD);

しかし、構造体にvoid* sndを追加して構造体を送信しようとすると、これは成功しません。

前の例が正しく動作する理由がわかりませんが、次の例は正しく動作しません。

ここでは、typedef 構造体を定義し、そこから MPI_DataType を作成しています。上記と同じ説明で、以下も成功するはずですが、残念ながら機能していません。

コードは次のとおりです。

    #include "mpi.h"
    #include<stdio.h>

    int main(int args, char *argv[])
    {
        int rank, source =0, tag=1, dest=1;
        int bloackCount[2];

        MPI_Init(&args, &argv);

        typedef struct {
            void* data;
            int tag; 
        } data;

        data myData;    

        MPI_Datatype structType, oldType[2];
        MPI_Status stat;

        /* MPI_Aint type used to idetify byte displacement of each block (array)*/      
        MPI_Aint offsets[2], extent;
        MPI_Comm_rank(MPI_COMM_WORLD, &rank);


        offsets[0] = 0;
        oldType[0] = MPI_BYTE;
            bloackCount[0] = 1;

        MPI_Type_extent(MPI_INT, &extent);

        offsets[1] = 4 * extent;  /*let say the MPI_BYTE will contain ineteger :         size of int * extent */
        oldType[1] = MPI_INT;
        bloackCount[1] = 1;

        MPI_Type_create_struct(2, bloackCount,offsets,oldType, &structType);
        MPI_Type_commit(&structType);


        if(rank == 0){
    int x = 100;
    myData.data = &x;
    myData.tag = 99;
    MPI_Send(&myData,1,structType, dest, tag, MPI_COMM_WORLD);
}
if(rank == 1 ){ 
    MPI_Recv(&myData, 1, structType, source, tag, MPI_COMM_WORLD, &stat);
          // with out this the following printf() will properly print the value 99 for 
          // myData.tag
    int x = *(int *) myData.data;
    printf(" \n Process %d, Received : %d , %d \n\n", rank , myData.tag, x); 
    }   
       MPI_Type_free(&structType);             
       MPI_Finalize();
    }

コード実行時のエラー メッセージ: [2 番目のプロセスで無効なメモリ アドレス空間にアクセスしようとしているようです]

    [ubuntu:04123] *** Process received signal ***
    [ubuntu:04123] Signal: Segmentation fault (11)
    [ubuntu:04123] Signal code: Address not mapped (1)
    [ubuntu:04123] Failing at address: 0xbfe008bc
    [ubuntu:04123] [ 0] [0xb778240c]
    [ubuntu:04123] [ 1] GenericstructType(main+0x161) [0x8048935]
    [ubuntu:04123] [ 2] /lib/i386-linux-gnu/libc.so.6(__libc_start_main+0xf3)         [0xb750f4d3]
    [ubuntu:04123] [ 3] GenericstructType() [0x8048741]
    [ubuntu:04123] *** End of error message ***

なぜ機能しないのか説明してください。アドバイスもいただければ幸いです

ありがとう、

4

3 に答える 3

5 
// Sender Side.
int x = 100;
void* snd;
MPI_Send(snd,4,MPI_BYTE,1,0,MPI_COMM_WORLD);

// Receiver Side.
void* rcv;
MPI_Recv(rcv, 4,MPI_BYTE,0,0,MPI_COMM_WORLD);

前の例が正しく動作する理由がわかりませんが、次の例は正しく動作しません。

これは機能します (もちろん、意味のあるメモリ位置を値として割り当てる必要があります)。なぜならsnd、とはデータ位置のアドレスを取得し、 と の両方がポインターであるためです。つまり、それらの値はそのようなアドレスです。たとえば、行はポインター自体の値を送信しているのではなく、sndが指している場所から始まる 4 バイトを送信しています。の呼び出しと使用法についても同様です。ポインターが指している値ではなくポインターの値を送信するには、次を使用する必要があります。rcvMPI_SendMPI_RecvsndrcvMPI_SendMPI_Recvrcv

MPI_Send(&snd, sizeof(void *), MPI_BYTE, ...);

これsizeof(void *)により、ポインタの値が格納されているアドレスから始まるバイトが送信されます。これは、非常に特殊なケースでない限り、ほとんど意味がありません。

2 番目の例が機能しないのはなぜですか? MPI は魔術師ではなく、メモリの一部に別のメモリ ブロックへのポインタが含まれていることを認識できず、そのポインタをたどることができません。つまり、構造化データ型を構築する場合、構造体の最初の要素が実際にはポインターであることを MPI に通知し、このポインターが指すデータを読み取らせる方法はありません。つまり、明示的なデータ マーシャリングを実行する必要があります。構造体と、 が指すメモリ領域のコピーを含む中間バッファですdata.data。dataさらに、データ構造には、指すメモリ領域の長さに関する情報が含まれていません。

非常に重要なことに注意してください。すべての MPI データ型には、型マップと呼ばれるものがあります。型マップはタプルのリストであり、型シグネチャとも呼ばれる各タプルは、プリミティブ言語型 ( 、、など)の形式を持ち、(basic_type, offset)はバッファーの先頭からのオフセットです。MPI 特有の機能の 1 つは、オフセットが負の値になる可能性があることです。これは、(または、またはその他の通信関数への) 引数が、データ ソースとして機能するメモリ領域の中央を実際に指している可能性があることを意味します。データを送信するとき、MPI は型マップをトラバースし、対応する型から型の要素を 1 つ取得します。basic_typecharintdoubleoffsetMPI_SendMPI_Recvbasic_typeoffset、指定されたデータ バッファー アドレスに関連します。組み込みの MPI データ型には、オフセット の 1 つのエントリのみの型マップがあります0。たとえば、次のようになります。

MPI_INT      -> (int, 0)
MPI_FLOAT    -> (float, 0)
MPI_DOUBLE   -> (double, 0)

MPI にはデータ型が存在しません。これにより、ポインターを参照解除し、ポインター値自体の代わりにポインターが指す値を取ることができます。

offsets[0] = 0;
oldType[0] = MPI_BYTE;
blockCount[0] = 1;

MPI_Type_extent(MPI_INT, &extent);

offsets[1] = 4 * extent;
oldType[1] = MPI_INT;
blockCount[1] = 1;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);

intこのコードは、次の型マップ ( 4 バイトと仮定) を持つ MPI データ型を作成します。

{(byte, 0), (int, 16)}

に type 引数として指定するとMPI_Send、MPI ライブラリに、データ バッファーの先頭から 1 バイトを取得し、データ バッファーの先頭から 16 バイト後にある整数値を取得するように指示します。バッファ領域のスパンは 20 バイトになりますが、合計でメッセージの長さは 5 バイトになります。

offsets[0] = offsetof(data, data);
oldType[0] = MPI_CHAR;
blockCount[0] = sizeof(void *);

offsets[1] = offsetof(data, tag);
oldType[1] = MPI_INT;
blockCount[1] = 1;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);

Greg Inozemtsev の回答から取られたこのコードは、次の型マップを持つデータ型を作成します (32 ビット幅のポイントとゼロ パディングを備えた 32 ビット マシンを想定)。

{(char, 0), (char, 1), (char, 2), (char, 3), (int, 4)}

(char, x)typesigの数はsizeof(void *)(仮定により 4) です。データ型として使用される場合、これはバッファの先頭から 4 バイト (つまり、ポインタの値、アドレスであり、実際に指している int ではありません!) を取り、その後 4 バイトの整数を取ります。つまりtag、構造体のフィールドの値です。繰り返しますが、このポインターが指すデータではなく、ポインターのアドレスを送信することになります。

との違いは、 type のデータMPI_CHARにMPI_BYTEは型変換が適用されないことですMPI_BYTE。これは、異種環境で MPI コードを実行する場合にのみ関係します。ライブラリを使用MPI_CHARすると、データ変換を実行できます。たとえば、各文字を ASCII 文字セットから EBCDIC 文字セットに、またはその逆に変換します。この場合の使用MPI_CHARは誤りですが、異種環境でのポインタの送信はさらに誤りであるため、心配する必要はありません ;)

これらすべてに照らして、もし私があなたなら、suszterpatt が提案した解決策を検討します。

明示的なデータ マーシャリングには、次の 2 つのシナリオが考えられます。

シナリオ 1. が指す各データ項目data.dataのサイズは一定です。この場合、次の方法で構造体データ型を作成できます。

typedef struct {
   int tag;
   char data[];
} data_flat;

// Put the tag at the beginning
offsets[0] = offsetof(data_flat, tag);
oldType[0] = MPI_INT;
blockCount[0] = 1;

offsets[1] = offsetof(data_flat, data);
oldType[1] = MPI_BYTE;
blockCount[1] = size of the data;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);
MPI_Type_commit(&structType);

次に、次のように使用します。

// --- Sender ---

// Make a temporary buffer to hold the data
size_t total_size = offsetof(data_flat, data) + size of the data;
data_flat *temp = malloc(total_size);

// Copy data structure content into the temporary flat structure
temp->tag = data.tag;
memcpy(temp->data, data.data, size of the data);

// Send the temporary structure
MPI_Send(temp, 1, structType, ...);

// Free the temporary structure
free(temp);

一時ストレージを解放せずに、data構造の他のインスタンスにも再利用することもできます (推定により、それらはすべて同じサイズのデータ​​を指しているため)。受信者は次のようになります。

// --- Receiver ---

// Make a temporary buffer to hold the data
size_t total_size = offsetof(data_flat, data) + size of the data;
data_flat *temp = malloc(total_size);

// Receive into the temporary structure
MPI_Recv(temp, 1, structType, ...);

// Copy the temporary flat struture into a data structure
data.tag = temp->tag;
data.data = temp->data;
// Do not free the temporary structure as it contains the actual data

シナリオ 2. 各データ項目のサイズが異なる場合があります。これははるかに複雑で、移植可能な方法で行うのは困難です。速度が最大の関心事ではない場合は、データを 2 つの異なるメッセージで送信して、移植性を最大限に高めることができます。MPI は、同じエンベロープで送信されるメッセージの順序が維持されることを保証します(source, destination, tag, communicator)。

次の方法で suzterpatt が提案したものを実装することもできます (タグが許可された範囲に収まる場合)。

// --- Send a structure ---
MPI_Send(data.data, size of data, MPI_BYTE, dest, data.tag, MPI_COMM_WORLD);

// --- Receive a structure ---
MPI_Status status;
MPI_Aint msg_size;
// Peek for a message, allocate big enough buffer
MPI_Probe(source, MPI_ANY_TAG, &status);
MPI_Get_count(&status, MPI_BYTE, &msg_size);
uint8_t *buffer = malloc(msg_size);
// Receive the message
MPI_Recv(buffer, (int)msg_size, MPI_BYTE, source, status.MPI_TAG,
         MPI_COMM_WORLD, MPI_STATUS_IGNORE);
// Fill in a data structure
data.tag = status.MPI_TAG;
data.data = buffer;
于 2012-10-25T11:45:23.240 に答える
4

さまざまなデータをさまざまなタグとペアにするためにこの構造体を定義すると仮定すると、ソリューションは概念的に間違っています。次の例を検討してください。

data foo, bar;
int x = 100;
foo.data = bar.data = &x;
foo.tag = bar.tag = 99;

この場合、fooとbarはそれぞれメモリ内に の独自のコピーを持ちますがtag、同じデータを指しています。したがって、両方の要素を送信するために使用できる単一の MPI データ型を定義することは不可能です。それぞれの要素dataとtag要素の間の変位が異なるためです。幸運な場合を除いて、さまざまなデータ ポインターに対して同じことが当てはまります。

データとタグをペアにしたい場合でも、data構造体を使用できますが、上記の理由により、カスタム MPI データ型は必要ありません。

MPI_Send(myData.data,extent,MPI_BYTE, dest, myData.tag, MPI_COMM_WORLD);

一致する受信で:

MPI_Recv(myData.data, extent, MPI_BYTE, source, myData.tag, MPI_COMM_WORLD, &stat);
于 2012-10-23T21:44:08.583 に答える
1

tagMPI データ型の のオフセットが間違っています。void*一般に、 aが と同じサイズであると想定することはできませんint。structさらに、フィールドが追加されると、 にパディングが導入される場合があります。ただし、この問題を回避する方法があります-次を使用してoffsetofください：

offsets[0] = offsetof(data, data);
oldType[0] = MPI_BYTE;
blockCount[0] = sizeof(void *);

offsets[1] = offsetof(data, tag);
oldType[1] = MPI_INT;
blockCount[1] = 1;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);

もう 1 つ: ポインターは目的地では意味がないため、MPI データ型ではスキップできます。

于 2012-10-25T04:57:33.763 に答える