hadoop - Hadoop HDFS ファイルを複数のフォルダーから 1 つの宛先フォルダーにコピーする

Question

小さなファイルを複数の HDFS フォルダーから 1 つの宛先フォルダーにコピーする効果的な方法は何ですか? Map-Reduce を有効にするには、小さいファイルもマージする必要があります。

Answer 1

「複数の HDFS フォルダー」を入力として、1 つの宛先フォルダーを出力として、デフォルトの Map-Reduce ジョブ (デフォルトの Mapper と Reducer を使用) を実行するだけです。