hadoop - Java コード内で Hadoop マップ タスクのヒープ サイズを変更するにはどうすればよいですか?

Question

次のリンクにあるように、マップ タスクのヒープ サイズのデフォルト値は 200 MB ですが、mapreduce.task.io.sort.mb少なくとも 300 または 400 MB に増やす必要があるため、それを増やす必要があります。このような変更を行うには、Hadoop 構成ファイルにアクセスできないため、コードで行う必要があります。どうやってやるの？

http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

Answer 1

構成 API を介してパラメーターを設定できます。

Configuration conf = new Configuration();
conf.set("mapred.child.java.opts", "heap size here");
Job job = new Job(conf);

また、mapred.child.ulimit は、mapred.child.java.opts で指定されたヒープ サイズの 2 ～ 3 倍にする必要があります。

Answer 2

Hadoop 構成をプログラムで設定/変更するには、ドライバー クラスを次のようにします。

    public class MyDriver extends Configured implements Tool {


        @Override
        public int run(String[] args) throws Exception {

                Configuration conf = getConf();

                conf.set("mapred.child.java.opts", "-Xmx1024m -Xss600m");
                conf.set("mapreduce.task.io.sort.mb", "400m");
...

    }
    }