configuration - プログラムによるHadoopジョブ構成の設定

Question

子を減らすためのOOM例外（Javaヒープスペース）が発生します。の値mapred.reduce.child.java.optsを-Xmx512M以上に増やすと役立つとドキュメントを読みました。私は管理者ではないため、mapred-site.xmlでその値を変更することはできません。その値は、Javaプログラムを介した自分の仕事にのみ設定したいと思います。次のようにクラスを使って設定してみConfigurationましたが、うまくいきませんでした。

Configuration config = new Configuration(); config.set("mapred.reduce.child.java.opts", "-Xmx512M"); JobConf conf1 = new JobConf(config, this.getClass());

Hadoopのバージョンは1.0.3です

プログラムで構成値を設定する適切な方法は何ですか？

Answer 1

@ThomasJungblut と @octo が指摘しているように、質問で言及した手順は正しい方法です。OOM 例外は引き続き発生するため、ここで続行する代わりに新しいスレッドを開始します。