問題タブ [amazon-redshift-spectrum]

私の要件は、データを S3 に保存し、Amazon Redshift Spectrum を使用して S3 データに対してクエリを実行することです。私のデータは、1 対多および多対多でモデル化されています。たとえば、次の SQL スキーマを考えてみましょう

このデータを S3 に保存するには、より良い方法が必要です。Redshift Spectrum を介してこれらを Redshift に簡単にロードして、JOIN クエリを実行できるようにします。

注: データはスケジュールに基づいて S3 に挿入されます。また、Redshift は、モデルにあるものと同じ外部キー制約を維持する必要があります。データは任意の順序で S3 に挿入できます。これは、users データの前の user_phones データです。

S3 を保存して Redshift にデータを計算するためのより良いアプローチを期待する

Redshift Spectrumで頻繁に発生する問題に直面してDisk Full errorいるため、クラスターを繰り返しスケールアップする必要があります。キャッシュが削除されるようです。

理想的には、キャッシングを維持するためにスケールアップし、クエリで必要なディスク容量を知る方法を見つけたいと考えています。

Redshift Spectrum のキャッシングについて説明しているドキュメントはありますか、それとも同じメカニズムを Redshift に使用していますか?

編集:ジョン・スコットのリクエストに応じて、質問を更新しています

S3 で圧縮されたデータの合計は、約 1.8 TB です。Athena は 10 分かかり、700 GB をスキャンして教えてくれましたQuery exhausted resources at this scale factor

編集 2: 16 TB の SSD クラスターを使用しました。