-1

Hadoop DFS にコピーしたいサーバーに何百もの大きな lzo 圧縮ファイルがあります。圧縮されていないファイルに対して私が通常使用するコマンドは次のとおりです。

cat someFile | ssh uname@hadoop "hadoop dfs -put - /data/someFile"

これは圧縮ファイルでは機能しないと思います（catおそらく意味がないため）。最初にファイルを Name Node と put にコピーする必要がありますか?

scp someFile.lzo uname@hadoop:~/ #on remote server
hadoop dfs -put someFile.lzo /data/ #on Hadoop server
rm ~/someFile.lzo

これを行うためのより良い方法があるはずです。

4

1 に答える 1

0

クライアント マシン (大きなファイルを保持しているサーバー) に Hadoop クライアント ライブラリをインストールできる場合は、どのような場合でもファイルを cat する必要はありません。

使用できるコマンド:

hadoop dfs -cp localfilename hdfsipaddress:hdfsport(通常は 9000) :hdfs パス

于 2016-09-03T19:31:08.157 に答える