私はHadoopでJavaMapReduceプログラムを作成していますが、すべてのレデューサーは静的XMLファイル(値リストへのルールの適用に関するビジネスロジックを含む)にアクセスできる必要があります。このファイルを分散キャッシュに保存し、分散キャッシュAPIを利用して、すべてのレデューサー内でファイルにアクセス(シリアル化)することにしました。私はまだこれを実装していませんが、HDFS /分散モードでこの機能を使用することになると、APIは簡単に思えます。ただし、テスト目的で疑似分散スタンドアロンモードで使用することはできますか?それはどのように機能しますか?
また、すべてのレデューサーでファイルをシリアル化するのは悪い考えですか?「グローバル静的データ」をレデューサーに配布する他の方法についての提案を募集しています。
ありがとう!