hadoop - map reduce の map 関数によるファイル

Question

各マップ関数を介して一連のファイルを何らかの形で渡すことは可能ですか? 要件は、異なる 2 操作に対して各ファイルを並行して処理することです。私は map reduce がまったく初めてで、プログラミング言語として Java を使用しています。

Answer 1

読み取り専用アクセスで、すべてのマッパーへの入力として同じファイルを取得する場合は、はい。メイン (ドライバー) クラスから分散キャッシュと呼ばれるものにファイルを追加できます。詳細については、こちらをご覧ください。