hadoop - Hadoop Map Reduce 参照静的オブジェクト

Question

map reduce ジョブ クラスに静的オブジェクトがあり、(メイン メソッドで) 1 回初期化してから、すべてのマッピングで関数を呼び出します。したがって、変数として宣言するこのオブジェクト MyObject があります。

static MyObject obj;

私のメイン関数では、ジョブを開始する前に次のように呼び出します。

obj = new MyObject();
obj.init();

そして、マップ関数で呼び出したい：

obj.execute();

しかし、何らかの理由でこれを試すと、null ポインター例外が発生します (obj が null であると表示されます)。メイン関数で初期化すると、マッパーはそれを初期化済みと見なすべきではありませんか? マッパーは静的変数を認識していますか?

Answer 1

main() はすべてのノードで呼び出されるわけではなく、ジョブを開始した場所でのみ実行されます。静的オブジェクトにアクセスするには、マッパーのインスタンス化時に初期化する必要があります。そうすれば、マップ タスクを実行するすべてのノードで初期化が行われます。

しかし、あなたが達成しようとしていることを行う別の方法があるかもしれないので、問題は、この静的オブジェクトが何をするかということです。

Answer 2

私のオブジェクトは実際にはライブラリをロードしていたので、最終的には分散キャッシュを使用し、M/R メソッドでオブジェクトをインスタンス化するだけになりました。