問題タブ [s3distcp]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
57 問題
0
投票する
2
に答える
910
参照
hadoop - java.lang.IllegalArgumentException: ソース ファイル リストとソース パスの両方が存在する
distcp次のコマンドを実行して、HDFS から S3 にファイルをコピーしようとしています。
しかし、次のエラーが発生します。
0
投票する
1
に答える
1030
参照
hadoop - HDFS から S3 へのコピー中に GroupBy を使用してフォルダー内のファイルをマージする
HDFS に次のフォルダーがあります。
各フォルダーには 50 近くのファイルが含まれています。私の意図は、HDFS から S3 にコピーするときに、フォルダー内のすべてのファイルをマージして単一のファイルを取得することです。私が抱えている問題は、groupByオプションを使用した正規表現にあります。これを試しましたが、うまくいかないようです:
コマンド自体は機能しますが、各フォルダー内のファイルが単一のファイルにマージされないため、問題は正規表現にあると思われます。