問題タブ [amazon-redshift-spectrum]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
amazon-athena - Redshift Spectrum のパフォーマンスと Athena の比較
S3 に寄木細工のファイルがあり、日付でパーティション分割されたバケットがあります。
次のクエリを使用します。
そのクエリを Athena で直接実行すると、10 秒未満で実行されます。しかし、Redshift で同じクエリを実行すると、3 分以上かかります。どちらも同じ正しい値を返します。この場合、そのパーティション内の行数は 80,000 未満です。
Athena と Redshift の両方のメタデータ ストアとして AWS Glue を使用しています。
Redshift のクエリ プランは次のとおりです。
これは Redshift Spectrum の構成の問題ですか? Redshift のクエリが Athena の近くで実行されない可能性はありますか?
amazon-web-services - グルー クローラーが redshift テーブルをクロールすると、Serde シリアライゼーション ライブラリが null になる
redshift テーブルをクロールするグルー クローラーを作成しようとしました。グルー クローラーは正常に実行され、外部テーブルを作成します。しかし、テーブルのメタデータを見ると、「入力形式」、「出力形式」、「Serde 名」が見つかりました。したがって、クローラーテーブルを使用してAthenaまたはsparkからデータを読み取ろうとすると、例外が発生します。以下は、sparkを使用してテーブルを読み取るときに直面する例外です。
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to fetch table redshift_table. StorageDescriptor#InputFormat cannot be null for table: redshift_table (Service: null; Status Code: 0; Error Code: null;Request ID: null)
以下は、グルー クローラー テーブルのプロパティのスクリーンショットです。
上記の問題について教えてください。