0

分散キャッシュに多数のファイルが保存されており、それぞれがユーザー ID に対応しています。特定のユーザー ID (リデューサーのキーとなる) に対応する特定のファイルを特定のリデュース タスクに添付したいと考えています。しかし、reduce クラスの reduce メソッドの前にある configure メソッドを使用して、分散キャッシュからファイルを読み取るため、そうすることができません。そのため、reduce クラスの configure メソッドで reduce メソッドのキーにアクセスできず、必要なファイルだけを読み取ることができません。助けてください。

class reduce{

void configure(args)
{

/*I can a particular file from the Path[] here.
I want to select the  file corresponding to the key of the reduce method and pass its
contents to the reduce method. I am not able to do this as I can't access the key of 
the reduce method.*/

}

void reduce(args)
{
}


}
4

1 に答える 1

1

解決策は、DistributedCache のjavadocsPathで説明されているように、構成ステップで DistributedCacheの配列をクラス変数に割り当てることです。もちろん、マップ コードをリデュース コードに置き換えます。

これは、コードが使用しているように見えた古い API を使用しています。

 public static class MapClass extends MapReduceBase  
 implements Mapper<K, V, K, V> {

   private Path[] localArchives;
   private Path[] localFiles;

   public void configure(JobConf job) {
     // Get the cached archives/files
     localArchives = DistributedCache.getLocalCacheArchives(job);
     localFiles = DistributedCache.getLocalCacheFiles(job);
   }

   public void map(K key, V value, 
                   OutputCollector<K, V> output, Reporter reporter) 
   throws IOException {
     // Use data from the cached archives/files here
     // ...
     // ...
     output.collect(k, v);
   }
 }
于 2012-09-25T20:06:48.640 に答える