問題タブ [s3distcp]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

57 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
173 参照

amazon-s3 - AWS-EMR-S3DISTCP - aws は s3 アクションに対して料金を請求しますか?

s3distcpのドキュメント( https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html ) を調べていましたが、各アクションのコストについて言及している明示的なサイトを見つけることができませんでした。これはサンプル シナリオです。

  1. 10,000 個のオブジェクトを含むバケットがあります。
  2. 3 つのインスタンスを持つ EMR クラスターがs3distcpの実行に使用されます。
  3. s3distcpでは--deleteOnSuccessオプションが有効になっています。
  4. ソースと宛先のバケットは、EMR とともに、同じアカウントとリージョンにあります。

質問は次のとおりです。

  1. EMR の使用 (インスタンスの種類、経過時間などに基づく) とは別に、s3 アクションに追加料金はかかりますか (つまり、10K オブジェクトすべてを移動した場合、10K COPY リクエストを意味します)? それとも、請求は EMR コストのみに関連付けられますか?
0 投票する
2 に答える
174 参照

hadoop - HDFS から S3 へのロード中にファイルを解凍する方法は?

これらのファイルを s3 にロードしてからスノーフレークにロードしたいlzo形式のcsv ファイルがあります。スノーフレークは csv ファイル形式の lzo 圧縮を提供しないため、これらのファイルを s3 にロードするときにオンザフライで変換する必要があります。HDFS

0 投票する
0 に答える
129 参照

amazon-s3 - s3からs3の同じフォルダにファイルをコピーする方法は?

次のコマンドを使用して、s3 から s3 にログ ファイルを結合しようとしています。

次のファイルがあります

期待される結果は

しかし、次のエラーが表示されます

次のコマンドが機能しています。(dest パスを別のパスに変更)


12345678910