2 つの名前付き出力を生成するように MultipleOutputs を構成しました。s3n://に 1 つと に1つを送信したいhdfs://
これは可能ですか？
1 に答える
0
これは現在、利用可能な API では実行できません。
Hadoop MapReduce の場合のMultipleOutputsクラスは、現在、(構成された出力ディレクトリの) サブディレクトリの出力名に対してのみ機能します。これにより、投機的実行によって引き起こされる副作用を処理できます。
ただし、これを実現することは不可能ではないため、これをサポートするために、クラスを再実装する (またはクラスから派生させる) ことができます。投機的実行をサポートする実装を計画している場合は、より複雑な OutputCommitter 実装も必要になる場合があります。
于 2012-11-17T10:13:13.113 に答える