2

コンテキストを最初に:

私のプログラムは、ファイルに記録されるいくつかの並列計算を行います。スレッドはブロックごとにグループ化されます (私は CUDA を使用しています)。ログ ファイルは次のようにフォーマットされます。

#begin run
({blockIdx,threadIdx}) {thread_info}
({blockIdx,threadIdx}) {thread_info}
...
#end run

ログファイルを読み取り、各実行メッセージをスレッドごとにソートする関数を作成しました。

//------------------------------------------------------------------------------
// Comparison struct for log file sorting
//------------------------------------------------------------------------------
typedef struct
{
    bool operator()(const string &rString1 , const string &rString2)
    {
        int closeParenthesisLocalition1 = rString1.find_first_of(')');
        int closeParenthesisLocalition2 = rString2.find_first_of(')');
        int compResult = rString1.compare(0 , closeParenthesisLocalition1 + 2 , rString2 , 0 , closeParenthesisLocalition2 + 2);
        return (compResult < 0);
    }
} comp;

//------------------------------------------------------------------------------------
// Sort the log file. Lines with same prefix (blockIdx,ThreadIdx) will be grouped in file per run.
//------------------------------------------------------------------------------------
void CudaUnitTest::sortFile()
{
    comp comparison;
    deque<string> threadsPrintfs;
    ifstream inputFile(m_strInputFile);
    assert(inputFile.is_open());

    //Read whole input file and close it. Saves disk accesses.
    string strContent((std::istreambuf_iterator<char>(inputFile)), std::istreambuf_iterator<char>());
    inputFile.close();

    ofstream outputFile(m_strOutputFile);
    assert(outputFile.is_open());

    string strLine;
    int iBeginRunIdx = -10; //value just to addapt on while loop (to start on [0])
    int iBeginRunNewLineOffset = 10; //"idx offset to a new line char in string. Starts with the offset of the string "#begin run\n".
    int iEndRunIdx;
    int iLastNewLineIdx;
    int iNewLineIdx;

    while((iBeginRunIdx = strContent.find("#begin run\n" , iBeginRunIdx + iBeginRunNewLineOffset)) != string::npos)
    {
        iEndRunIdx = strContent.find("#end run\n" , iBeginRunIdx + iBeginRunNewLineOffset);
        assert(iEndRunIdx != string::npos);

        iLastNewLineIdx = iBeginRunIdx + iBeginRunNewLineOffset;
        while((iNewLineIdx = strContent.find("\n" , iLastNewLineIdx + 1)) < iEndRunIdx)
        {
            strLine = strContent.substr(iLastNewLineIdx + 1 , iNewLineIdx);
            if(verifyPrefix(strLine))
                threadsPrintfs.push_back(strLine);
            iLastNewLineIdx = iNewLineIdx;
        }

        //sort last run info
        sort(threadsPrintfs.begin() , threadsPrintfs.end() , comparison);
        threadsPrintfs.push_front("#begin run\n");
        threadsPrintfs.push_back("#end run\n");

        //output it
        for(deque<string>::iterator it = threadsPrintfs.begin() ; it != threadsPrintfs.end() ; ++it)
        {
            assert(outputFile.good());
            outputFile.write(it->c_str() , it->size());
        }
        outputFile.flush();
        threadsPrintfs.clear();
    }

    outputFile.close();
}

問題は、結果のファイルに大量のごみデータが含まれていることです。たとえば、6KB の入力ログ ファイルは 192KB の出力ログを生成しました。出力ファイルには、入力ファイルの繰り返しがたくさんあるようです。ただし、コードをデバッグすると、deque は並べ替えの前後で正しい値を示しました。ofstreamの書き込み自体に問題があると思います。

編集:関数は並行して実行されていません。

4

1 に答える 1

0

最終的なコードを表示するだけです。substr の変更に注意してください。インデックスの代わりに、長さを受け取っています。

//------------------------------------------------------------------------------------
// Sort the log file. Lines with same prefix (blockIdx,ThreadIdx) will be grouped in file per run.
//------------------------------------------------------------------------------------
void CudaUnitTest::sortFile()
{
comp comparison;
deque<string> threadsPrintfs;
ifstream inputFile(m_strInputFile);
assert(inputFile.is_open());

//Read whole input file and close it. Saves disk accesses.
string strContent((std::istreambuf_iterator<char>(inputFile)), std::istreambuf_iterator<char>());
inputFile.close();

ofstream outputFile(m_strOutputFile);
assert(outputFile.is_open());

string strLine;
int iBeginRunIdx = -10; //value just to addapt on while loop (to start on [0])
int iBeginRunNewLineOffset = 10; //"idx offset to a new line char in string. Starts with the offset of the string "#begin run\n".
int iEndRunIdx;
int iLastNewLineIdx;
int iNewLineIdx;

while((iBeginRunIdx = strContent.find("#begin run\n" , iBeginRunIdx + iBeginRunNewLineOffset)) != string::npos)
{
    iEndRunIdx = strContent.find("#end run\n" , iBeginRunIdx + iBeginRunNewLineOffset);
    assert(iEndRunIdx != string::npos);

    iLastNewLineIdx = iBeginRunIdx + iBeginRunNewLineOffset;
    while((iNewLineIdx = strContent.find("\n" , iLastNewLineIdx + 1)) < iEndRunIdx)
    {
        strLine = strContent.substr(iLastNewLineIdx + 1 , iNewLineIdx - iLastNewLineIdx);
        if(verifyPrefix(strLine))
            threadsPrintfs.push_back(strLine);
        iLastNewLineIdx = iNewLineIdx;
    }

    //sort last run info
    sort(threadsPrintfs.begin() , threadsPrintfs.end() , comparison);
    threadsPrintfs.push_front("#begin run\n");
    threadsPrintfs.push_back("#end run\n");

    //output it
    for(deque<string>::iterator it = threadsPrintfs.begin() ; it != threadsPrintfs.end() ; ++it)
    {
        assert(outputFile.good());
        outputFile.write(it->c_str() , it->size());
    }
    threadsPrintfs.clear();
}

outputFile.close();
}
于 2011-11-12T17:34:06.503 に答える