shell - HDFS コマンド ライン追加

Question

ファイルのコピーのように、コマンド ラインから HDFS 上のファイルに追加する方法はありますか。

hadoop fs -copyFromLocal <localsrc> URI

Answer 1

この機能は、Hadoop 2.3.0 で次のような構文のappendToFileとして実装されています。

hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile

(HDFS Append 機能が検討されていた 2009 年に初めて提案されました: https://issues.apache.org/jira/browse/HADOOP-6239 )

Answer 2

cli は追加をサポートしていませんが、httpfs と fuse はどちらもファイルの追加をサポートしています。

w301% ls -lA
total 0
-rw-r--r-- 1 hdfs supergroup 0 Nov 14 01:02 test.me
w301% cat test.me
w301% sync
w301% cat test.me
hello
w301% echo "more rows" >> test.me
w301% sync
w301% cat test.me 
hello
more rows

編集: ただし、ファイルに追加できるクライアントは 1 つだけであることに注意してください。