2 つのクラスターがあり、1 つのクラスターから別のクラスターにデータをプルする必要があります。
私たちが利用できる唯一のオプションは、webhdfs を介してデータをプルすることです!!
しかし残念なことに、webhdfs を介して一度に取得できるファイルは 1 つだけであり、ファイルごとに 2 つのコマンドを実行する必要があります。
私の率直な質問は、webhdfs を介して、ディレクトリ データ全体をプルできる方法はありますか??
**Ex:**
**directory structure in the cluster:**
dir1
file1
file2
file3
**currently observed that,**
for every file i.e 1,2 & 3, i need to execute two commands to get data.
**Problem statement:**
Is there a way thru webhdfs, to get all the files in a single call i.e., files 1,2 & 3 at a time from dir1 ...!!!!
誰かがこれで私を助けてくれませんか...
注: DISTCP は、セキュリティ上の問題により、私たちにとって有効なオプションではありません!!