こんにちは、ソース ファイル システム (ローカル ファイル システム) から HDFS にファイルをコピーする方法を知りたいです。ソース ファイルが既に HDFS にコピーされている場合、そのファイルを削除または無視して、Talend を使用して HDFS に再度コピーする方法を教えてください。
ありがとうベンカット
質問する
239 次
1 に答える
1
ローカル ファイル システムから HDFS にファイルをコピーするには、ビッグ データ用の Talend がある場合はtHDFSPutコンポーネントを使用する必要があります。データ統合にTalendを使用する場合、適切なコマンドでtSystemコンポーネントを簡単に使用できます。
ファイルの重複を避けるには、RDBMS にテーブルを作成し、コピーされたすべてのファイルを追跡する必要があります。ジョブがファイルのコピーを開始するたびに、テーブルに既に存在するかどうかを確認する必要があります。
于 2016-08-08T13:59:06.713 に答える