1

C で MPI-IO を使用して複数のファイルを読み込もうとしています。次の例に従っています: http://users.abo.fi/Mats.Aspnas/PP2010/examples/MPI/readfile1.c

ただし、文字列ではなく倍精度行列を読み取っています。その実装は次のとおりです。

/*
Simple MPI-IO program that demonstrate parallel reading from a file.
Compile the program with 'mpicc -O2 readfile1.c -o readfile1'
*/

#include <stdlib.h>
#include <stdio.h>
#include "mpi.h"

#define FILENAME "filename.dat"

double** ArrayAllocation() {
    int i;
    double** array2D;
    array2D= (double**) malloc(num_procs*sizeof(double*));
    for(i = 0; i < num_procs; i++) {
        twoDarray[i] = (double*) malloc(column_size*sizeof(double));
    }
    return array2D;
}

int main(int argc, char* argv[]) {
  int i, np, myid;
  int bufsize, nrchar;
  double *buf;          /* Buffer for reading */
  double **matrix = ArrayAllocation();
  MPI_Offset filesize;
  MPI_File myfile;    /* Shared file */ 
  MPI_Status status;  /* Status returned from read */

  /* Initialize MPI */
  MPI_Init(&argc, &argv);
  MPI_Comm_rank(MPI_COMM_WORLD, &myid);
  MPI_Comm_size(MPI_COMM_WORLD, &np);

  /* Open the files */
  MPI_File_open (MPI_COMM_WORLD, FILENAME, MPI_MODE_RDONLY,
         MPI_INFO_NULL, &myfile);

  /* Get the size of the file */
  MPI_File_get_size(myfile, &filesize);
  /* Calculate how many elements that is */
  filesize = filesize/sizeof(double);
  /* Calculate how many elements each processor gets */
  bufsize = filesize/np;
  /* Allocate the buffer to read to, one extra for terminating null char */
  buf = (double *) malloc((bufsize)*sizeof(double));
  /* Set the file view */
  MPI_File_set_view(myfile, myid*bufsize*sizeof(double), MPI_DOUBLE,
             MPI_DOUBLE,"native", MPI_INFO_NULL);
  /* Read from the file */
  MPI_File_read(myfile, buf, bufsize, MPI_DOUBLE, &status);
  /* Find out how many elemyidnts were read */
  MPI_Get_count(&status, MPI_DOUBLE, &nrchar);
  /* Set terminating null char in the string */
  //buf[nrchar] = (double)0;
  printf("Process %2d read %d characters: ", myid, nrchar);

  int j;
  for (j = 0; j <bufsize;j++){
    matrix[myid][j] = buf[j];
  }

  /* Close the file */
  MPI_File_close(&myfile);

  if (myid==0) {
    printf("Done\n");
  }

  MPI_Finalize();
  exit(0);
}

しかし、最初のファイルを閉じた後で MPI_File_open を呼び出そうとすると、エラーが発生します。これを行うには複数のコミュニケーターが必要ですか? ヒントをいただければ幸いです。

4

1 に答える 1

2

上記のコードArrayAllocationは、メイン プログラムのロジックと完全には一致しません。行列は、MPI が初期化される前に double のベクトルへのポインターの配列として割り当てられるため、行数を MPI プロセスの数に設定することはできません。

column_sizeファイルサイズが決定されるまで、これもわかりません。

行列を行ごとに格納するのは、C 言語の一般的な規則です。この規則に違反すると、ユーザーやコードの読者が混乱する可能性があります。

全体として、このプログラムを機能させるには、宣言する必要があります

 int num_procs, column_size;

の定義の前にグローバル変数としてArrayAllocation配置し、この関数の呼び出しを bufsize が計算される行の下に移動します。

 ...
 /* Calculate how many elements each processor gets */
 bufsize = filesize/np;

 num_procs = np;
 column_size = bufsize;
 double **matrix = ArrayAllocation();
 ...

上記の変更により、この例は MPI-IO をサポートするすべての MPI 実装で動作するはずです。OpenMPI 1.2.8 でテストしました。

テスト ファイルを生成するには、たとえば次のコードを使用できます。

 FILE* f = fopen(FILENAME,"w");
 double x = 0;
 for(i=0;i<100;i++){
   fwrite(&x, 1,sizeof(double), f);
   x +=0.1;
 }
 fclose(f);
于 2012-04-22T10:28:12.973 に答える