問題タブ [amazon-redshift]

テキスト ファイルに約 1300 万のエントリを持つリモート ホストから非常に大きなテーブルからすべてのデータを取得しようとしています。次のコマンドを試してみましたが、しばらくするとプロセスが強制終了され、「Kill​​ed」というメッセージが表示されます。コンソールで。
mysql --user=username --password -h host -e "select * from db.table_name" >> output_file.txt
私の主な目標は、mysql から redshift にデータをコピーすることです。これは、「,」で区切られたテキスト ファイルですべてのデータを取得し、それを s3 にアップロードし、redshift でCOPYクエリを実行することによって実行しています。
PS 小さなテーブルの場合、上記のコマンドは適切に機能しますが、大きなテーブルでは機能しません。

フォームにデータセットがあります。

望ましい出力:

MySQL では、次を使用します。

group_concat や、array_agg() や string_agg() などの psql グループ集計関数をサポートしていないため、これが Redshift で実行できるかどうかはわかりません。この質問を参照してください。

group_concat の代わりに、各グループからランダムな属性を選択する方法があれば、うまくいく代替ソリューションです。これは Redshift でどのように機能しますか?

AWS Redshift は初めてです。概念は読みましたが、RedShift で負荷テストを進める方法を知りたいと思いました。私は GINDER に非常に慣れていましたが、RedShift の使用方法に戸惑いました。
私の基本的な要件は、特定の数の行をプッシュし、クエリとサーバーのパフォーマンスを測定することです。MySQL、Cassandra などがデプロイされているクラウドで多くのパフォーマンス レビューを行ってきました。ロード テストを開始するためのコンセプトやツールを教えてください。

テーブルを Amazon RedShift から MySQL に移行したいのですが、「アンロード」を使用すると、MySQL に直接インポートするのが難しい複数のデータ ファイルが生成されます。

テーブルを単一の CSV ファイルにアンロードして、MySQL に直接インポートできるようにする方法はありますか?

Amazon Redshift と MIcrostrategy を使用しています。Microstrategy では、パブリックスキーマのすべてのテーブルを正しく表示できます。しかし、独自のスキーマを作成すると、Microstrategy はテーブルを「認識」しますが、テーブル内のフィールドは認識しません (つまり、テーブルをクリックしても、Microstrategy は内部のフィールドを表示しません)。

私が間違っている可能性のあるアイデア/「パブリック」以外のスキーマで動作するように Microstrategy を構成する方法はありますか?

ありがとうございました！

4 ノードの RedShift クラスターがあります。

1. ノードの 1 つがダウンすると、クラスター全体が使用できなくなりますか?
2. はいの場合 - どのくらいの期間ですか?
3. クラスターが復旧したとき - 障害が発生する前とまったく同じ時点に戻ったのか、それともデータが数時間前の S3 スナップショットにロールバックされた可能性があるのか​​?
4. この状況をシミュレートして、このシナリオを自分で確認するにはどうすればよいですか?

どうもありがとう！

Amazon Redshift では、現在のタイムスタンプを 0 秒に変換しようとしています。それはこれからです：

これに：

私は次のことを試しました：

私はおそらくこれを行うための非常に簡単な方法を見逃しています! 誰か提案はありますか？

たとえば、次のようなテーブルの場合:

col_c の現在の合計が特定の値よりも小さい col_a / col_b の値を見つける必要があります。

これまでのところ、私は持っています:

これにより、現在の最大合計が得られますが、この running_total が達成された行の val (col_a/col_b) も必要です。

このクエリには Amazon Redshift を使用しています。これは、mysql とは異なり、val に group by 句を追加せずに、外側の select ステートメントに val を配置できません。クエリのセマンティック全体を変更する group by 句の原因を追加することはできません。

同様の問題の解決策を見つけました-列の最大値を持つ行をフェッチします

ほとんどの場合、これらの解決策は、同じテーブルと結合してから列の値を照合することを示唆していますが、running_total 列が計算され、それを結合するには、もう一度計算する必要がありますか? これはかなり高価に聞こえます。