私はHadoopが初めてです。入力ファイルを受け取り、出力を表示する単純なワードカウントプログラムをEclipseに持っています。しかし、 HDFSから同じプログラムを実行する必要があります。wordcount プログラム用の JAR ファイルを作成済みです。続行する方法を教えてください。
2 に答える
単一ノード クラスタであっても、クラスタをセットアップする必要があります。次に、hadoop コマンド ラインから .jar を実行できます。
jar ファイルを実行します。ユーザーは、Map Reduce コードを jar ファイルにバンドルし、このコマンドを使用して実行できます。
Usage: hadoop jar <jar> [mainClass] args...
ストリーミング ジョブは、このコマンドを介して実行されます。例はストリーミングの例から参照できます
単語カウントの例も jar コマンドを使用して実行されます。Wordcountの例から参照できます
最初に、Remus が説明したように Hadoop クラスターをセットアップする必要があります。
シングル ノード セットアップとマルチ ノード セットアップは、開始するのに適した 2 つの方法です。
セットアップが完了したら、hadoop デーモンを開始し、入力ファイルを任意の hdfs ディレクトリにコピーします。
プログラムの jar を準備します。
を使用して端末でjarを実行しますhadoop jar <you jar name> <your main class> <input path><output directory path>
(jar 引数はプログラムによって異なります)