Hadoop MapReduce「生きている」小さなキー値ストレージを共有する必要があるアプリケーション (ジョブ) がたくさんあります。実際には、ジョブの進行中にいくつかの文字列基準に基づいて生成される文字列 ID についてです。
したがって、変更可能な共有のように見えMap<String,String>、値はMapReduceジョブコンポーネント間で共有されます（私の場合はマッパーですが、問題ではありません）。
目に見えるアプローチはApache ZooKeeper. このサービスはすでにHadoopクラスターで利用できます。この場合に必要なのは、信頼性ZooKeeperの高いKeyValueストレージです。現在、宣言されたアプリケーションの 1 つと見なされますが、適切な実装は見られません。なにか提案を？この場合、エフェメラル ノードが必要であることがわかります (MapReduce ジョブの有効期間は限られているため)。
私が現在最良の選択肢として見つけたのは、必要なもののように見えるクラスをCurator含むフレームワークです。SharedValueしかし、レシピでも例でも、それを使用した例は見当たりません。例はありますか？
この問題に対する他の優れた実装アプローチまたはすぐに使えるソリューションはありますか? 前もって感謝します。