hadoop - Hadoop からローカル マシンへのコピー

Question

私たちのボックスに ssh しhadoop fs -ls /theFolder てファイルをブラウズすることなどはできますが、私が知っているのはそれだけです :) 私の目標は、これらのファイルの 1 つ (Avro ファイル) をローカルのホーム フォルダーにコピーすることです。

どうすればこれを行うことができますか？コマンドも見つけましたgetが、それを訴える方法もわかりません。

Answer 1

First, use hadoop fs -get /theFolder to copy it into the current directory you are ssh'ed into on your box.

Then you can use either scp or my preference of rsync to copy the files between your box and your local system like so. Here's how I'd use rsync after having used the -get, still in the same directory:

rsync -av ./theFolder username@yourlocalmachine:/home/username

This will copy theFolder from the local fs on your box into your home folder on your machine's fs. Be sure to replace username with your actual username in both cases, and yourlocalmachine with your machine's hostname or ip address.