1

Amazon EMR では、システム プロパティをカスタム jar に渡すことができますhadoop jar -Dkey=value myjob.jarか? (上記はアプリケーション自体の初期化中に使用されkey、valuehadoop のConfigurationオブジェクトに属していません。)

関連スレッドAmazon の EMR を使用して CLI でカスタム jar を使用して mapred 構成と Java オプションを指定する方法は? Bootstrap Actions を介してのみ Hadoop デーモンにシステム プロパティを渡す方法について説明していますが、明らかに、Java エントリ ポイント クラスに対して同じことを行うことはできません。

4

1 に答える 1

1

をマッパーまたはリデューサーに渡したくない場合は、ターミナルまたはスクリプトから次の操作を実行できます -

export HADOOP_OPTS="-Dkey=value"
hadoop jar ...

$HADOOP_HOME/conf/hadoop-env.shジョブを実行するたびに明示的に定義せずに、ジョブごとに必要な場合は、それらを に配置することもできます。

これが理にかなっていることを願っています。

于 2013-09-03T14:32:31.023 に答える