問題タブ [amazon-redshift]

AWS Redshiftをテストしただけで、キー列の重複で失敗することを望んでいた挿入でいくつかの重複データを発見したので、ドキュメントを読むと、主キーの制約が「強制」されていないことがわかります。

誰もが主キーの重複を防ぐ方法を見つけました(「従来の」期待による)。

Redshift のパイオニアに感謝します。

いくつかの MySQL テーブルを Amazon Redshift に移行しようとしていますが、いくつかの問題に遭遇しました。

手順は簡単です。 1. MySQL テーブルを csv ファイルにダンプする 2. csv ファイルを S3 にアップロードする 3. データファイルを RedShift にコピーする

手順 3 でエラーが発生します。

SQL コマンドは次のとおりです。

copy TABLE_A from 's3://ciphor/TABLE_A.csv' CREDENTIALS 'aws_access_key_id=xxxx;aws_secret_access_key=xxxx' delimiter ',' csv;

エラー情報:

SQL コマンドの実行中にエラーが発生しました: copy TABLE_A from 's3://ciphor/TABLE_A.csv' CREDENTIALS 'aws_access_key_id=xxxx;aws_secret_access_key=xxxx エラー: COPY CSV はサポートされていません [SQL 状態 = 0A000] 実行時間: 0.53 秒1 件のステートメントが失敗しました。

csv ファイルの形式に制限があるかどうかはわかりません。区切り文字や引用符など、ドキュメントで見つけることができません。

誰でも助けることができますか？

Tableauを使用してAWSRedShiftからデータを取得してからレポートを生成したいのですが、Tableau WebサイトからダウンロードしたPostgreSQLドライバーを使用しようとしましたが、接続を確立できません。

誰もがそれを行う方法を知っていますか？

更新：PgAdmin-supportメーリングリストでも質問されました。

これで、AWS Redshiftクラスターが稼働していて、コマンドラインから次のコマンドラインに接続できます。

$ psql -h host -d database -p port -U username

pgAdmin IIIを介してクラスターに接続したいのですが、クラスターに接続した後、次のようなエラーが発生します。

エラー：default_tablespaceを表示するには、スーパーユーザーである必要があります

入力したフィールドは、[名前]、[ホスト]、[ポート]、[メンテナンスDB]、[ユーザー名]、および[パスワード]でした。これらはすべて、psqlコマンドと同じように入力しました。

ここで、psqlを介して接続し、次のことを確認します。

$ \tu

このユーザー[AWSによって付与されたマスターユーザー]は、実際にはスーパーユーザーです。では、このエラーの原因について何か提案はありますか？

フォローアップの質問として、他のリモートデータベースに接続すると、スーパーユーザーではないのにこのエラーが発生しないので、ここで何が起こっているのでしょうか。pgAdmin経由で接続するときにRedshiftが原因でこのエラーが発生するのはどうですか？

一般的な Web 分析ワークロード用の既存のスキーマ テンプレートはありますか。たとえば、Google アナリティクスに似ていますが、少なくとも次のテーブルが含まれている可能性があります。

1. ユーザー
2. サイト
3. リクエスト

車輪を再発明したくないので、既存の適切に定義されたスキーマまたは適切な関係モデリングが私のニーズに適しているかどうかを調べています。

何か案が？

備考: 私は AWS RedShift で実行していますが、ほとんどの列指向データベースは同様のスキーマを持つべきだと思います。

このコマンドでエラーが発生し、PostgresqlのID列に値を挿入する必要があります。

グラフ全体のエンティティの流れをモデル化するプラットフォームの開発に取り組んでいます。システムは、これらのプロパティを持つエンティティがグラフ上の特定のノードにいくつあるか、ノードへの流入、ノードへの流出などの質問に答える必要があります。フローデータはストリームでシステムに送られます。フローデータをタイムバケット（たとえば5分）に分割し、さまざまなプロパティに対してさまざまな集計を事前に計算し、クエリを提供するために集計をDynamoDBに保存することを検討しています。

これに関して、次のオプションを評価しています。

• EMR：フローデータをAWSに配置します-S3/DynamoDBはMapReduce/hiveジョブを実行します

• 最近のデータをAWS-RDSに入れ、SQLを介して集計を計算します

• Akka：アクターとメッセージパッシングを介して分散アプリケーションを構築するためのフレームワークです。

  誰かが同様のユースケースに取り組んだり、上記のテクノロジーのいずれかを使用したことがある場合は、どのアプローチが私たちのユースケースに最適であるかを教えてください。

Amazon Redshift から SQL ダンプを行う方法はありますか?

SQL ワークベンチ/J クライアントを使用できますか?

SQL workbench/j に計算列を追加するにはどうすればよいですか (Amazon Redshift のクライアントとして)

SELECTまた、ステートメントを定数文字列値に置き換えてみましたが、うまくいきませんでした。

copy コマンドを実行して S3 から Python の Amazon の Redshift にデータをロードする際に問題が発生しています。
次のコピー コマンドがあります。

SQL Workbench/j を使用してこのコマンドを実行すると、すべてが期待どおりに機能しますが、python と psycopg2 でこれを実行しようとすると、コマンドは OK を渡しますが、データは読み込まれず、エラーはスローされません。
次の2つのオプションを試しました（psycopg2接続がOKであると仮定します）：

どちらも警告なしでパスしますが、データはロードされません

アイデア？

ありがとう