hadoop - 出力ファイルなしで Hadoop ジョブを実行する

Question

出力ファイルを指定せずに Hadoop ジョブを実行することは可能ですか? Hadoop ジョブを実行しようとすると、指定された出力ファイルがありません Exception がスローされます。Javaを使用してこれを行う手順を教えてください。

reduce によって処理されたデータを非リレーショナル データベースに書き込んでいるので、HDFS に書き込む必要がなくなりました。

Answer 1

残念ながら、これは実際にはできません。出力の書き込みはフレームワークの一部です。フレームワークの外で作業する場合、基本的には結果に対処する必要があります。

HDFS にデータを書き込まないNullOutputFormatを使用できます。ただし、それでもフォルダーが作成されると思います。いつでも Hadoop にフォルダーを作成させてから削除することができます。