hadoop - ジョブごとにio.sort.mbを変更するにはどうすればよいですか？

Question

ジョブごとにio.sort.mbの値を変更できるかどうか疑問に思っていますか？mapred-site.xmlでパラメーターの値を設定できることは知っていますが、プログラムごとに異なるジョブで異なる値を使用したいと思います。conf.setInt（ "io.sort.mb"、someValue）を試しましたが、機能しないようです。JVM設定には十分なメモリ（2.25GBなど）があり、他のジョブは実行されていません。

Answer 1

確かに、送信する前にConfiguration（JobConf以前のバージョンでは）設定してください。それは機能します。マハウトで使用しました。値を設定した後、送信する前に、に設定confしていることを確認してください。Jobあなたも正しい設定をしていることを確認してくださいconf！多分あなたはそれが機能していないことをどのように知っているかを言うことができます。