Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
Hadoop の初心者です。セットアップを行い、基本的な単語カウント Java プログラムを実行しました。結果は良さそうです。
私の質問は、map/reduce クラスを使用して、非常に大きなログ ファイルを解析して、必要な数行だけを取得することは可能ですか? または、他の手順が必要ですか?
この方向のポインタは非常に役立ちます。ありがとう、アーティ
はい、完全に可能です。ファイルが十分に大きい場合、nhahtdh の言うことにもかかわらず、hadoop はそれに取り組むための良い方法であると証明できると思います。
マッパーは単純にフィルターとして機能できます。渡された値をチェックし、必要な行の条件に適合する場合にのみ実行しますcontext.write()。
context.write()
クラスでデフォルトreduce()を使用するだけで、独自のレデューサーを作成する必要さえありません。Reducer
reduce()
Reducer