hadoop - 「Wordcount」プログラムは MRv1(mapreduce) と MRv2(YARN) で異なりますか?

Question

「Wordcount」プログラムは、Hadoop(Mapreduce) のバージョンによって異なりますか。少なくとも MRv1(mapreduce) と MRv2(YARN) の場合は?
または
プログラミングは同じですが、単語数に必要なパッケージはさまざまです.......?

Answer 1

Hadoop wikiの WordCount の例について話している場合、違いはありません。ソース コードの 1 行も変更せずに、MRv1 および MRv2 でコンパイルして実行することができます。必要なのは、以下のように正しいクラスパスを含めることだけです:

javac -cp `hadoop classpath` WordCount.java

覚えておくべきことの 1 つは、WordCount は Hadoop の HelloWorld の例にすぎないということです。これは、必要に応じてさまざまな方法で実装できることを意味します。実際、Hadoop 2.1.0の実装は、 Hadoop wikiで見られるものとはすでに異なっていることがわかります。