問題タブ [s3distcp]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
57 問題
0
投票する
1
に答える
224
参照
hadoop - Hadoop distcp コマンドを使用した Dataproc での s3-dist-cp groupBy と同等
EMRでは、フォルダー内s3-dist-cp --groupByのファイルにランダムfileNameに名前を付けて、S3で名前を変更したい名前にするために使用しています。
例：
s3-dist-cp を実行した後、
ただし、コマンドを使用して Dataproc でこの機能を実現しhadoop distcp、ファイルを GCS の場所に書き込みたいと考えています。gs://testLocation/folder_in_gs/file.csv
どんな助けでも大歓迎です。