Hadoop を使用して Kmeans を実行しようとしています。Reducer の cleanup メソッドで計算されたクラスターの重心をいくつかのファイルに保存したいと思いますcentroids.txt
。ここで、複数のレデューサーのクリーンアップ メソッドが同時に開始され、それらすべてが同時にこのファイルに書き込もうとするとどうなるかを知りたいと思います。内部で処理されますか?そうでない場合、このタスクを同期する方法はありますか?
これはレデューサーの私の出力ファイルではないことに注意してください。これは、重心を追跡するために私が維持している追加のファイルです。これを行うために、レデューサーのクリーンアップ メソッドから BufferedWriter を使用しています。