hadoop - Hadoop の分散キャッシュ内のファイルを更新する

Question

分散キャッシュ内のファイルを更新するにはどうすればよいですか?.

たとえば、分散キャッシュにプロパティ ファイルがあり、プロパティ ファイルにいくつかの値を追加しました。

オプション:

1. 古いファイルに新しい値を追加して、ジョブを再開します。
2. 古いファイルを新しいファイルに置き換えて、ジョブを再開します。
3. 新しいファイルを新しい場所に配置し、その場所をポイントします。

上記のすべての選択肢はどれが正しいですか?なぜですか?

Answer 1

これには、分散キャッシュの仕組みを理解する必要があります。ファイルを分散キャッシュに追加すると、ジョブの実行時にファイルが各タスク ノードにコピーされ、そのファイルがローカルで使用可能になります。複数のコピーを作成するため、変更できません。

オプション 2 と 3 は実現可能に思えますが、それが正しい方法かどうかはわかりません。

ファイルに多数のプロパティがあるだけの場合は、分散キャッシュ内のファイルではなく、構成オブジェクトでこれらを設定できます。コレクターを使用して、出力を目的の場所に書き込むことができます。（ユースケースがはっきりとわからないので、これは適切ではないかもしれません）。