mapreduce - HDFS：書くことをアトミックにする方法は？

Question

複数のマッパーからHDFSファイル（サイドHDFSファイル）に書き込むことが望まれる、いくぶん（奇妙な）ユースケースがあります。しかし、ファイルの整合性を損なうことなくそれが許可されるかどうかはわかりません。お知らせ下さい。ありがとう！

Answer 1

HDFS自体には、そのようなニーズに対応するものはありません。1つのファイルでサポートされるアクティブなライターは1つだけです。

ライターで分散ロックメカニズムを使用して、すべての書き込みインスタンスで追加と終了を行うか（低速ですが、必要なものを実現します）、個別に書き込み、最後にマージします（分散環境では高速です）。