0

Hadoop の初心者です。セットアップを行い、基本的な単語カウント Java プログラムを実行しました。結果は良さそうです。

私の質問は、map/reduce クラスを使用して、非常に大きなログ ファイルを解析して、必要な数行だけを取得することは可能ですか? または、他の手順が必要ですか?

この方向のポインタは非常に役立ちます。ありがとう、アーティ

4

1 に答える 1

0

はい、完全に可能です。ファイルが十分に大きい場合、nhahtdh の言うことにもかかわらず、hadoop はそれに取り組むための良い方法であると証明できると思います。

マッパーは単純にフィルターとして機能できます。渡された値をチェックし、必要な行の条件に適合する場合にのみ実行しますcontext.write()。

クラスでデフォルトreduce()を使用するだけで、独自のレデューサーを作成する必要さえありません。Reducer

于 2013-04-19T09:32:59.930 に答える