1

そうすることは可能ですか?

コンテキスト:レデューサーの構成メソッドは、DistributedCache から一連のファイルを読み取る必要があります (合計サイズは ~150MB)。ただし、正常に終了したレデューサーがいくつかあるにもかかわらず、hadoop が一部のレデューサーを強制終了するのに時間がかかる理由はわかりません。

configure メソッドで JobConf conf 変数にしかアクセスできない古い API を使用しています。

私の考えは、レポーター変数をフィールドにして、構成メソッドで呼び出すことができるようにすることです。しかし、reduce が呼び出される前に configure が呼び出されるようです。

4

1 に答える 1