約 20Lakhs の圧縮された入力ファイルで構成されるフォルダーがあります。圧縮された各ファイルは、2 ～ 4 個のファイルで構成されます。サイズ 5 の MapR クラスターがあります。hadoop MapReduce を使用してこれらのファイルを処理しています。マッパーで処理する前に、一度に N 個の入力ファイルを結合したいと考えています。いくつかの入力ファイルを組み合わせて、単一のマッパーで処理される複数のファイルを取得する方法について何か提案はありますか?
約 20Lakhs の圧縮された入力ファイルで構成されるフォルダーがあります。圧縮された各ファイルは、2 ～ 4 個のファイルで構成されます。サイズ 5 の MapR クラスターがあります。hadoop MapReduce を使用してこれらのファイルを処理しています。マッパーで処理する前に、一度に N 個の入力ファイルを結合したいと考えています。いくつかの入力ファイルを組み合わせて、単一のマッパーで処理される複数のファイルを取得する方法について何か提案はありますか?