HDFS ファイルを HDFS クラスターから別のサーバーに転送するための Oozie ワークフローを作成したいと考えています。
Oozie はシステム内の任意のノードでコマンドまたはスクリプトを実行できるため、いずれかのノードでシェル スクリプトまたは SFTP を実行し、ファイルを宛先サーバーに転送することは可能ですか。
質問する
1000 次
1 に答える
0
このタスクは、リモート サーバーからHDFS ファイルに対してhttp GET ( open operation ) を実行することで簡単に実行できると思います (curlそのために使用できます)。
とにかく、Oozie を介して実行したい場合は、目的のファイルを HDFS からローカル ファイル システムに移動するスクリプトを作成し、ローカル ファイル システムscp内のファイルをリモートファイルシステム。
于 2015-04-19T16:26:49.000 に答える