-2

現在、hadoop の FileSystem API のメソッドを呼び出して HDFS にファイルをインポートしています。インポートorg.apache.hadoop.fs.FileSystem.moveFromLocalFile()される小さなファイルの数が多すぎるため、namenode で大きなヒープ サイズが発生し、それを削減したいと考えています。最初に小さなファイルをすべてインポートすることなく、ファイルをHARとして HDFSにインポートする簡単な方法はありますか? つまり、小さなファイルをインポートしますが、HDFS には、インポートしたファイルを含む 1 つの HAR ファイルがあります。

4

1 に答える 1