1

Hadoop レプリケーションについて質問があります。

以下のコマンドを使用して、hadoop の特定のディレクトリにあるファイルのレプリケーション ファクターを変更しました。

hadoop dfs -setrep -R 3 -w /data/routing

成功し、このディレクトリ内のすべてのファイルのレプリケーション ファクタが に設定されました3。ただし、このディレクトリの下に書き込まれる新しいファイルには、引き続きデフォルトのレプリケーション ファクタ、つまり2.

この変更を永続化するオプションはありますか?

実際には、このディレクトリの下に書き込まれるすべての新しいファイル3は、デフォルトのレプリケーション ファクターに関係なく、常にレプリケーション ファクターが となるようにします。

4

1 に答える 1

1

デフォルトの複製係数以外のものが必要な場合は、ファイルを作成するときに複製係数を明示的に設定する必要があります。

ディレクトリの下のファイルは、mapreduce ジョブによって作成されたものですか、それとも他のプロセスを使用して手動で作成されたものですか?

mapreduce の場合は、デフォルトのレプリケーション ファクターのジョブ構成値を変更/設定するだけですdfs.replication。一部の Java コードでファイルを手動で作成している場合は、API を参照してください。FileSystem.create(Path, short)

于 2013-05-29T10:31:40.860 に答える