問題タブ [aws-glue]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
amazon-s3 - AWS Glue で圧縮 (tar ファイル) を処理する方法
「myarchive_1.tar.gz」という名前の tarfile が amazon s3 にあり、AWS Glue を介して amazon s3 自体で抽出したいと考えています。
これは、AWS Glue で実行しているサンプル コードです。
しかし、aws グルーで実行しているときはいつでも、次のエラーが発生します
この問題を解決するのを手伝ってください。
前もって感謝します、
ヨギタ。
apache-spark - AWS Glue の単純な ETL ジョブで「ファイルは既に存在します」と表示される
いくつかの ETL を使用して、ビッグデータ プロジェクトの AWS Glue を評価しています。S3 から CSV ファイルを正しく取得するクローラーを追加しました。最初は、その CSV を JSON に変換し、そのファイルを別の S3 の場所 (同じバケット、別のパス) にドロップするだけです。
AWS が提供するスクリプトを使用しました (ここではカスタム スクリプトは使用しません)。そして、すべての列をマップしました。
ターゲット フォルダは空ですが (ジョブが作成されたばかりです)、ジョブは「ファイルが既に存在します」で失敗します: ここにスナップショット。ジョブを開始する前に 、出力をドロップするふりをした S3 の場所は空でした。ただし、エラーの後に 2 つのファイルが表示されますが、それらは部分的なもののようです: スナップショット
何が起こっているのかについてのアイデアはありますか?
完全なスタックは次のとおりです。