1

次の MWE を使用comm.Scattervしcomm.Gathervて、特定の数のコアに 4D 配列を分散させます ( size)

import numpy as np
from mpi4py import MPI
import matplotlib.pyplot as plt

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

if rank == 0:
    test = np.random.rand(411,48,52,40) #Create array of random numbers
    outputData = np.zeros(np.shape(test))
    split = np.array_split(test,size,axis = 0) #Split input array by the number of available cores

    split_sizes = []

    for i in range(0,len(split),1):
        split_sizes = np.append(split_sizes, len(split[i]))

    displacements = np.insert(np.cumsum(split_sizes),0,0)[0:-1]

    plt.imshow(test[0,0,:,:])
    plt.show()

else:
#Create variables on other cores
    split_sizes = None
    displacements = None
    split = None
    test = None
    outputData = None

#Broadcast variables to other cores
test = comm.bcast(test, root = 0)
split = comm.bcast(split, root=0) 
split_sizes = comm.bcast(split_sizes, root = 0)
displacements = comm.bcast(displacements, root = 0)

output_chunk = np.zeros(np.shape(split[rank])) #Create array to receive subset of data on each core, where rank specifies the core
print("Rank %d with output_chunk shape %s" %(rank,output_chunk.shape))

comm.Scatterv([test,split_sizes, displacements,MPI.DOUBLE],output_chunk,root=0) #Scatter data from test across cores and receive in output_chunk

output = output_chunk

plt.imshow(output_chunk[0,0,:,:])
plt.show()

print("Output shape %s for rank %d" %(output.shape,rank))

comm.Barrier()

comm.Gatherv(output,[outputData,split_sizes,displacements,MPI.DOUBLE], root=0) #Gather output data together

if rank == 0:
    print("Final data shape %s" %(outputData.shape,))
    plt.imshow(outputData[0,0,:,:])
    plt.show()

これにより、乱数の 4D 配列が作成され、原則として、size再結合する前にコア間で分割する必要があります。ベクトルとScattervの開始整数と変位に従って、軸 0 (長さ 411) に沿って分割することを期待していました。ただし、( ) で再結合するとエラーが発生し、各コアの output_chunk のプロットは、入力データのほとんどが失われていることを示しているため、最初の軸に沿って分割が発生していないように見えます。split_sizesdisplacementsGathervmpi4py.MPI.Exception: MPI_ERR_TRUNCATE: message truncated

私の質問は次のとおりです:分割が最初の軸に沿って発生しないのはなぜですか?どの軸に沿って分割が発生するかをどのように知ることができますか?また、これがどの軸に沿って発生するかを変更/指定することは可能ですか?

4

1 に答える 1

6

comm.Scattervnumpy配列の次元について何もcomm.Gatherv知りません。彼らは単にsendbufメモリのブロックとして見ています。sendcountsしたがって、 andを指定する際には、これを考慮する必要がありますdisplacements(詳細については、 http://materials.jeremybejarano.com/MPIwithPython/collectiveCom.htmlを参照してください)。また、データが C スタイル (行優先) でメモリに配置されていることも前提としています。

2D マトリックスの例を以下に示します。このコードの重要な部分は、split_sizes_input/split_sizes_outputとdisplacements_input/displacements_outputを正しく設定することです。コードは、2 番目の次元のサイズを考慮して、メモリ ブロック内の正しい分割を指定します。

split_sizes_input = split_sizes*512

より高い次元の場合、この行は次のように変更されます。

split_sizes_input = split_sizes*indirect_dimension_sizes

どこ

indirect_dimension_sizes = npts2*npts3*npts4*....*nptsN

についても同様ですsplit_sizes_output。

このコードは、1 次元にわたって 1 から 512 までの数値が増加する 2D 配列を作成します。データが正しく分割および再結合されているかどうかは、プロットから簡単に確認できます。

import numpy as np
from mpi4py import MPI
import matplotlib.pyplot as plt

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

if rank == 0:
    test = np.arange(0,512,dtype='float64')
    test = np.tile(test,[256,1]) #Create 2D input array. Numbers 1 to 512 increment across dimension 2.
    outputData = np.zeros([256,512]) #Create output array of same size
    split = np.array_split(test,size,axis = 0) #Split input array by the number of available cores

    split_sizes = []

    for i in range(0,len(split),1):
        split_sizes = np.append(split_sizes, len(split[i]))

    split_sizes_input = split_sizes*512
    displacements_input = np.insert(np.cumsum(split_sizes_input),0,0)[0:-1]

    split_sizes_output = split_sizes*512
    displacements_output = np.insert(np.cumsum(split_sizes_output),0,0)[0:-1]


    print("Input data split into vectors of sizes %s" %split_sizes_input)
    print("Input data split with displacements of %s" %displacements_input)

    plt.imshow(test)
    plt.colorbar()
    plt.title('Input data')
    plt.show()

else:
#Create variables on other cores
    split_sizes_input = None
    displacements_input = None
    split_sizes_output = None
    displacements_output = None
    split = None
    test = None
    outputData = None

split = comm.bcast(split, root=0) #Broadcast split array to other cores
split_sizes = comm.bcast(split_sizes_input, root = 0)
displacements = comm.bcast(displacements_input, root = 0)
split_sizes_output = comm.bcast(split_sizes_output, root = 0)
displacements_output = comm.bcast(displacements_output, root = 0)

output_chunk = np.zeros(np.shape(split[rank])) #Create array to receive subset of data on each core, where rank specifies the core
print("Rank %d with output_chunk shape %s" %(rank,output_chunk.shape))
comm.Scatterv([test,split_sizes_input, displacements_input,MPI.DOUBLE],output_chunk,root=0)

output = np.zeros([len(output_chunk),512]) #Create output array on each core

for i in range(0,np.shape(output_chunk)[0],1):
    output[i,0:512] = output_chunk[i]

plt.imshow(output)
plt.title("Output shape %s for rank %d" %(output.shape,rank))
plt.colorbar()
plt.show()

print("Output shape %s for rank %d" %(output.shape,rank))

comm.Barrier()

comm.Gatherv(output,[outputData,split_sizes_output,displacements_output,MPI.DOUBLE], root=0) #Gather output data together



if rank == 0:
    outputData = outputData[0:len(test),:]
    print("Final data shape %s" %(outputData.shape,))
    plt.imshow(outputData)
    plt.colorbar()
    plt.show()
    print(outputData)
于 2016-03-18T11:01:31.093 に答える