hadoop - mapreduce グローバルな const 変数を共有する方法

Question

各マッパーが毎回TreeMap再構築することなく、すべてのマッパーがオブジェクトなどの 1 つの変数にアクセスできるようにするにはどうすればよいですか? TreeMap一度構築されたオブジェクトは二度と変更されません。

Answer 1

TreeMapオブジェクトの内容を に入れることを検討してくださいDistributed Cache。少量のデータの場合は、オブジェクトのコンテンツを構成オブジェクトに配置できます。

conf.set("key", "value");

次に JobConf オブジェクトを使用してマッパーでアクセスします。