0

この質問のタイトルが明確でないことを認めます。私の質問を読んだ後に誰かがそれを言い換えることができれば、それは素晴らしいことです.

とにかく、単語のIDであるフィールドのペアがあります。今、それらをテキストに置き換えたいと思います。現在、次のように 2 つの結合と foreach を実行しています。

WordIDs = LOAD wordID.txt AS (wordID1:long, wordID2:long);
WordTexts = LOAD wordText.txt AS (wordID:long, wordText:chararray);

Join1 = JOIN WordIDs BY wordID1, WordTexts BY wordID;
Replaced1 = FOREACH Join1 GENERATE WordTexts::wordText As wordText1, WordIDs::wordID2;

Join2 = JOIN Replaced1 BY wordID2, WordTexts BY wordID;
Replaced2 = FOREACH Join2 GENERATE Replaced1::wordText1 As wordText1, WordTexts::wordText::wordText2;

より少ない数のステートメントでこれを行う方法はありますか (2 つの結合ではなく 1 つの結合など)。

4

1 に答える 1

1

現在のコードは 2 つの個別のマップ削減ジョブを生成すると思います。レプリケートされた結合を使用しないようにするため、結合ステートメントの数は変更されませんが、1 つのマップ側結合のみを使用し、1 つのマップ削減ジョブのみを使用します。コードは次のようになります (まだ実行していません)。

WordIDs = LOAD wordID.txt AS (wordID1:long, wordID2:long);
WordTexts = LOAD wordText.txt AS (wordID:long, wordText:chararray);

Join1 = JOIN WordIDs BY wordID1, WordTexts BY wordID USING 'replicated';
Join2 = JOIN Join1 BY wordID2, WordTexts BY wordID USING 'replicated';

Replaced = FOREACH Join2 GENERATE Join1::WordTexts::wordText As wordText1, Join2::wordTexts::wordText as wordText2;
于 2013-01-20T21:54:18.880 に答える