24

ローカル ディレクトリ全体を HDFS にコピーできる HDFS API はありますか? ファイルをコピーするための API を見つけましたが、ディレクトリ用の API はありますか?

4

5 に答える 5

17

HadoopFSシェルを使用します。具体的には：

$ hadoop fs -copyFromLocal /path/to/local hdfs:///path/to/hdfs

プログラムで実行する場合は、2つのファイルシステム（1つはローカルと1つはHDFS）を作成し、FileUtilクラスを使用します。

于 2011-01-17T20:00:49.420 に答える
11

を使用してディレクトリからコピーしてみました

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/ /export/hadoop1/lopez/Join/TPCDSkew

Targetがディレクトリであるというエラーが表示されました。次に、それを次のように変更しました

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/*.* /export/hadoop1/lopez/Join/TPCDSkew

できます 。

于 2012-04-22T17:25:46.973 に答える
2

Hadoop バージョンの場合:

Hadoop 2.4.0.2.1.1.0-390

（そしておそらく後で;私が持っているものであるため、この特定のバージョンのみをテストしました）

copyFromLocal次の例を使用して、特別な表記なしでディレクトリ全体を再帰的にコピーできます。

hadoop fs -copyFromLocal /path/on/disk /path/on/hdfs

/path/on/diskサブディレクトリとファイルを含むディレクトリであっても機能します。

于 2015-08-12T13:38:09.727 に答える