0

Amazon AWS でアカウントを作成したばかりで、DATAPIPELINE を使用してクエリをスケジュールします。データ パイプラインの SQLACTIVITY を使用して、.sql ファイルから複数の複雑な SQL クエリを実行することは可能ですか?

私の全体的な目的は、データ パイプラインからの SQL クエリを使用して REDSHIFT/s3 からの生データを処理し、それを s3 に保存することです。それは実行可能な方法ですか？

この点で何か助けていただければ幸いです。

4

3 に答える 3

0

UNLOADはい、データを Redshift から S3 に移動する予定がある場合は、次のコマンドを実行する必要があります: http://docs.aws.amazon.com/redshift/latest/dg/r_UNLOAD.html

于 2015-06-30T18:45:40.900 に答える
0

SQL クエリの入力は単一のデータ ノードになり、出力は単一のデータ ファイルになります。データ パイプラインには、抽出/変換クエリを記述する「選択クエリ」フィールドが 1 つだけ用意されています。複数のクエリファイルのユースケースはないと思います。

ただし、パイプラインを構成可能にしたい場合は、パイプライン定義 JSON に「パラメーター」と値のオブジェクトを追加することで、パイプラインを構成可能にすることができます。

{
   "objects":[
  {
     "selectQuery":"#{myRdsSelectQuery}"
  }
  ],
  "parameters":[
  { 
     "description":"myRdsSelectQuery",
     "id":"myRdsSelectQuery",
     "type":"String"
  }
  ],
   "values":{
      "myRdsSelectQuery":"Select Query"
 }
}

複数のSQLスクリプトを実行してスケジュールしたい場合は、ShellCommandActivityで行うことができます。

于 2017-06-23T13:14:38.730 に答える