0

入力が大きなデータ セット (サイズが 100GB としましょう) である map-reduce ジョブがあります。この map-reduce ジョブが行うことは、ビッグ データをチャンクに分割し、データ チャンクごとに 1 つずつ個別のファイルを書き込むことです。つまり、ジョブの出力は複数のファイルで、それぞれのサイズは 64MB です。

この map-reduce ジョブの出力は、別の map-reduce ジョブの入力として使用されます。新しい入力は複数のファイルで構成され、それぞれのサイズが 64MB であるため、2 番目の map-reduce ジョブの各マッパーは 1 つのファイルのみを読み取りますか、それとも複数のファイルを読み取る可能性がありますか?

4

1 に答える 1