問題タブ [aws-glue-spark]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

236 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
0 に答える
484 参照

aws-glue - AWS Glue - データ系統とジョブ追跡

AWS Glue で作成した各ジョブが何をしているかを追跡する方法はありますか? たとえば、同じアクションを実行するジョブが 2 回作成された場合、各変換を実行する際のデータのデータ系列は?

0 投票する
1 に答える
7748 参照

amazon-web-services - S3 パスを使用するハイブでの「CREATE TABLE AS」の「空の文字列からパスを作成できません」エラー

ハイブを使用してEMRで実行されているsparkからのs3パスの場所を使用して、Glueカタログにテーブルを作成しようとしています。次のコマンドを試しましたが、エラーが発生しました。

pyspark.sql.utils.AnalysisException: u'java.lang.IllegalArgumentException: 空の文字列からパスを作成できません;'

sparksession.sql("CREATE TABLE IF NOT EXISTS abc LOCATION 's3://my-bucket/test/' as (SELECT * from my_table)")

sparksession.sql("CREATE TABLE abcSTORED AS PARQUET LOCATION 's3://my-bucket/test/' AS select * from my_table")

sparksession.sql("CREATE TABLE abcas SELECT * from my_table USING PARQUET LOCATION 's3://my-bucket/test/'")

不足しているパラメーターを誰かが提案できますか?


12345678910