hadoop - mapreduce ジョブの StreamInputFormat

Question

リモート システムに接続し、sftp プロトコルを使用してリモート システムからデータを転送するアプリケーションがあります。mapreduce ジョブを使用して同じことをしたいと考えています。入力ストリームから読み取る入力形式が必要です。私は HStreamInputFormat と StreamInputFormat のドキュメントを調べてきましたが、私の hadoop-2.0 はこれらのクラスをサポートしていないようです。続行するにはどうすればよいですか? 入力形式を使用して入力ストリームから読み取るチュートリアルまたは例へのリンクはありますか?

Answer 1

これらの SteamInputFormats がニーズをサポートしていない場合は、カスタマイズしたニーズに合わせて独自の InputFormat を作成することをお勧めします。独自のカスタム InputFormat と RecordReader を作成する方法については、このチュートリアルをお読みください。