現在、hadoop の FileSystem API のメソッドを呼び出して HDFS にファイルをインポートしています。インポートorg.apache.hadoop.fs.FileSystem.moveFromLocalFile()
される小さなファイルの数が多すぎるため、namenode で大きなヒープ サイズが発生し、それを削減したいと考えています。最初に小さなファイルをすべてインポートすることなく、ファイルをHARとして HDFSにインポートする簡単な方法はありますか? つまり、小さなファイルをインポートしますが、HDFS には、インポートしたファイルを含む 1 つの HAR ファイルがあります。