3

現在、1 つの GPU で複数のアルゴリズムを並列に実行するようにプログラミングしましたが、複数の GPU (たとえば 3 つ) で実行しようとすると、すべて同じ問題が発生します。問題は、1 つの GPU で実行されるコードが 3 つの GPU でまったく同じ時間実行されることです (高速ではありません)。より多くのデータを使用して実行しようとしましたが、別のタスクを実行しようとしましたが、何も役に立ちませんでした。最後に、要素の合計などの最も簡単なタスクを実行しようとしても、このひどい間違いが発生しました。そのため、特定のアルゴリズムの問​​題ではないと考えており、自分のコード (または、複数の GPU でコードを並列化するアプローチにも) に誤りがあると感じています。

私の Parallel.cpp クラスのヘッダー ファイルは次のとおりです。

#ifndef PARALLEL_H
#define PARALLEL_H

#define __NO_STD_VECTOR // Use cl::vector and cl::string and
#define __NO_STD_STRING // not STL versions, more on this later
#include <CL/cl.h>

class Parallel
{
    public:
        Parallel();
        int executeAttachVectorsKernel(int*, int*, int*, int);
        static void getMaxWorkGroupSize(int*, int*, int*);
        virtual ~Parallel();
    protected:
    private:
        char* file_contents(const char*, int*);
        void getShortInfo(cl_device_id);
        int init(void);
        cl_platform_id platform;
        cl_device_id* devices;
        cl_uint num_devices;
        cl_command_queue* queues;
        int* WGSizes;
        int* WGNumbers;
        cl_context context;
        cl_program program;
        cl_kernel kernel;
        cl_mem input1;
        cl_mem input2;
        cl_mem output;
};

#endif // PARALLEL_H

初期化メソッド init は次のとおりです。

int Parallel::init() {
cl_int err;

//Connect to the first platfrom
err = clGetPlatformIDs(1, &platform, NULL);
if (err != CL_SUCCESS) {
    cerr << "Error occured while executing clGetPlatformIDs" << endl;
    return EXIT_FAILURE;
}

//Get devices number
err = clGetDeviceIDs(platform, CL_DEVICE_TYPE_GPU, 0, NULL, &num_devices);
if (err != CL_SUCCESS) {
    cerr << "Error: Failed to create a device group:" << endl;
    return EXIT_FAILURE;
}

cout << "NUM DEVICES =" << num_devices << endl;

devices = new cl_device_id[num_devices];
//Get all the GPU devices
err = clGetDeviceIDs(platform, CL_DEVICE_TYPE_GPU, num_devices, devices, NULL);

//Create one context for all the devices
context = clCreateContext(NULL, num_devices, devices, NULL, NULL, &err);
if (!context) {
    cerr << "Error: Failed to create a compute context!" << endl;
    return EXIT_FAILURE;
}

queues = new cl_command_queue[num_devices];
WGNumbers = new int[num_devices];
WGSizes = new int[num_devices];


for(int i = 0; i < num_devices; i++) {
    //Create a command queue for every device
    queues[i] = clCreateCommandQueue(context, devices[i], 0, &err);
    if (!queues[i]) {
        cerr << "Error: Failed to create a command commands!" << endl;
        return EXIT_FAILURE;
    }

    cl_ulong temp;
    clGetDeviceInfo(devices[i], CL_DEVICE_MAX_WORK_GROUP_SIZE, sizeof(temp), &temp, NULL);
    WGSizes[i] = (int)temp;

    clGetDeviceInfo(devices[i], CL_DEVICE_MAX_WORK_ITEM_SIZES, sizeof(temp), &temp, NULL);
    WGNumbers[i] = (int)temp;
}

//Translate kernel code into chars
int pl;
size_t program_length;
string path = "./kernel/kernel_av.cl";

char* cSourceCL = file_contents(path.c_str(), &pl);
program_length = (size_t)pl;

//Create a program
program = clCreateProgramWithSource(context, 1,
                  (const char **) &cSourceCL, &program_length, &err);

if (!program) {
    cerr << "Error: Failed to create compute program!" << endl;
    return EXIT_FAILURE;
}

//Create an executable
err = clBuildProgram(program, 0, NULL, NULL, NULL, NULL);
if (err != CL_SUCCESS)
{
    size_t len;
    char buffer[2048];

    cerr << "Error: Failed to build program executable!" << endl;
    exit(1);
}

// Create the compute kernel in the program
kernel = clCreateKernel(program, "calculate2dim", &err);
if (err != CL_SUCCESS)
{
    cerr << "Error: Failed to create compute kernel!" << endl;
    exit(1);
}
}

カーネルを実行するメソッドは次のとおりです。

int Parallel::executeAttachVectorsKernel(int* data1, int* data2, int* results, int vectors_num) {

cl_int err;
size_t global;  // global domain size for our calculation
size_t local;   // local domain size for our calculation

int partition = vectors_num/num_devices;
unsigned int count = partition;
input1 = clCreateBuffer(context, CL_MEM_READ_ONLY, sizeof(int) * count, NULL, NULL);
input2 = clCreateBuffer(context, CL_MEM_READ_ONLY, sizeof(int) * count, NULL, NULL);
output = clCreateBuffer(context, CL_MEM_WRITE_ONLY, sizeof(int) * count, NULL, NULL);
if (!input1 || !input2 || !output) {
    cerr << "Error: Failed to allocate device memory!" << endl;
    exit(1);
}

int** data1_apart = new int*[num_devices];
int** data2_apart = new int*[num_devices];
int** results_apart = new int*[num_devices];

for(int i = 0; i < num_devices; i++) {
    cout << "Executing parallel part on GPU " << i + 1 << endl;
    cout << "Partition size = " << partition << endl;
    data1_apart[i] = new int[partition];
    data2_apart[i] = new int[partition];
    results_apart[i] = new int[partition];

    for(int j = i*partition, k = 0; k < partition; j++, k++) {
        data1_apart[i][k] = data1[j];
        data2_apart[i][k] = data2[j];
    }

    //Transfer the input vector into device memory
    err = clEnqueueWriteBuffer(queues[i], input1,
                               CL_TRUE, 0, sizeof(int) * count,
                               data1_apart[i], 0, NULL, NULL);

    err = clEnqueueWriteBuffer(queues[i], input2,
                               CL_TRUE, 0, sizeof(int) * count,
                               data2_apart[i], 0, NULL, NULL);

    if (err != CL_SUCCESS)
    {
        cerr << "Error: Failed to write to source array!" << endl;
        exit(1);
    }

    int parameter4 = count/WGNumbers[i];

     //Set the arguments to the compute kernel
    err = 0;
    err  = clSetKernelArg(kernel, 0, sizeof(cl_mem), &input1);
    err |= clSetKernelArg(kernel, 1, sizeof(cl_mem), &input2);
    err |= clSetKernelArg(kernel, 2, sizeof(cl_mem), &output);
    err |= clSetKernelArg(kernel, 3, sizeof(int), &parameter4);
    if (err != CL_SUCCESS)
    {
        cerr << "Error: Failed to set kernel arguments! " << err << endl;
        exit(1);
    }

    global = WGNumbers[i];
    local = WGSizes[i];

    if(local > global) {
        local = global;
    }
    cout << "global = " << global << " local = " << local << endl;

    err = clEnqueueNDRangeKernel(queues[i], kernel,
                                 1, NULL, &global, &local,
                                 0, NULL, NULL);
    if (err)
    {
        cerr << "Error: Failed to execute kernel!" << endl;
        return EXIT_FAILURE;
    }
}

for(int i = 0; i < num_devices; i++) {
    //Wait for all commands to complete
    clFinish(queues[i]);

    //Read back the results from the device to verify the output

    err = clEnqueueReadBuffer(queues[i], output,
                               CL_TRUE, 0, sizeof(int) * count,
                               results_apart[i], 0, NULL, NULL );
    if (err != CL_SUCCESS)
    {
        cerr << "Error: Failed to read output array! " <<  err << endl;
        exit(1);
    }

    for(int j = 0; j < partition; j++) {
        results[i*partition + j] = results_apart[i][j];
    }

    delete [] data1_apart[i];
    delete [] data2_apart[i];
    delete [] results_apart[i];
}

clReleaseMemObject(input1);
clReleaseMemObject(input2);
clReleaseMemObject(output);
delete [] data1_apart;
delete [] data2_apart;
}

この質問をstackoverflowに投稿する前に、私はこの問題と2〜3週間戦っていましたが、今は本当に誰かの助けが必要なので、考えや回答を高く評価します!

4

3 に答える 3

2

これが私が起こっていると思うことです。参加している各 opencl デバイスに対して、clEnqueueNDRangeKernel を 1 回呼び出します。この時点では、clFlush が呼び出されていないため、どのカーネルも実行を開始していません。次に、各キューの clFinish を作成します。最初の clFinish 呼び出しにより、キューに入れられた最初のワーク グループが実行されます。また、終了するのを待ちます。最初の作業グループが完了すると、clFinish は制御をアプリに返します。次に、アプリは次のキューの clFinish を呼び出します。これにより、2 番目の作業グラウトが実行され、それが完了するまで待機します。したがって、作業は順次実行されます。ソリューションは、clEnqueueNDRangeKernel への各呼び出しの直後に clFush を呼び出すのと同じくらい簡単です。これが、私の AMD システムの動作です。すぐに実用的な例を投稿します。

于 2013-05-13T03:33:37.877 に答える
1

すべてのデバイスが同じバッファで動作します。カーネルが実行されると、デバイス間でデータが移動されます。適切な同期がないと、結果は未定義になります。

可能であれば、デバイスごとに個別のバッファ セットを割り当てることを検討してください。

于 2013-05-10T18:02:25.533 に答える