部門の技術者が管理する Hadoop クラスターを使用しています。これを使用するには、2 つのファイル (core-site.xml と mapred-site.xml) にパラメーターを設定するだけで済みます。
私の質問は、hadoop プログラムに含まれるノードの数を制御する方法はありますか? 自分でクラスターを管理している場合、構成ファイル内の重複の数を変更できることを理解しています。しかし、私はそのファイルにアクセスできないので、運が悪いようです。
setNumMapTasks() および setNumReduceTasks() メソッドを認識しています。これら 2 つの方法を使用すると、map/reduce タスクの数をプログラムで設定できます。しかし、これらの数値は必ずしも実際に実行されているノードに変換されるとは限りませんよね?
Amazon EC2 では、コマンドを使用して関与するノードの数を設定できると聞きましたが、通常の Hadoop 実装ではそれが可能ですか?
ありがとう。