問題タブ [amazon-data-pipeline]

AWS DataPipeline のコンソールでいくつかのパラメーターを定義したいのですが、それができません。パラメータは SqlActivity で呼び出されるため、インライン SQL スクリプトでパラメータを参照してパイプラインを保存しようとすると、そのようなパラメータが存在しないというエラー メッセージが表示されます。パラメータ ページが空白で、パラメータを作成するボタンが見つかりません。Google の結果はすべて、パラメーター化されたパイプラインを作成する方法を示していますが、これは正確に探しているものではありません

AWS Data Pipeline が SNS アラートをサポートおよび許可していることは知っていますが、クエリが何かを返した場合にアラートまたは E メールを送信したいと考えています。基本的に、非常に単純な選択クエリの SQLActivity を実行したいのですが、そのクエリが何かを返す場合は、電子メール アラートを送信したいと考えています。これは可能ですか？その場合、返されたデータのセットをメールで送信できますか?

Amazon AWS でアカウントを作成したばかりで、DATAPIPELINE を使用してクエリをスケジュールします。データ パイプラインの SQLACTIVITY を使用して、.sql ファイルから複数の複雑な SQL クエリを実行することは可能ですか?

私の全体的な目的は、データ パイプラインからの SQL クエリを使用して REDSHIFT/s3 からの生データを処理し、それを s3 に保存することです。それは実行可能な方法ですか？

この点で何か助けていただければ幸いです。

AWS Data Pipeline サービスを使用したいと考えており、AWS CLI を使用してパイプラインを作成、配置、アクティブ化する手動の JSON ベースのメカニズムを使用して作成しました。

私の質問は、パイプライン定義で何かが変更された場合、パイプラインの編集または更新を自動化するにはどうすればよいですか? 私が想像できる変更は、スケジュール時間、アクティビティまたは前提条件の追加または削除、DataNodes への参照、リソース定義などです。

パイプラインが作成されると、公式ドキュメントでここに記載されているように、かなりの数を編集できません。 #dp-edit-pipeline-limits

これにより、パイプラインの更新を自動化したい場合、新しいパイプラインを削除して再作成/アクティブ化する必要があると思いますか? はいの場合、次の質問は、以前のバージョンの ID を識別し、それを削除して新しい ID を作成する自動プロセスを作成するにはどうすればよいかということです。基本的に、構成 JSON ファイルが自動的にリリースおよびデプロイされる、このためのリリース管理フローを構築しようとしています。

activate、delete、list-runs、put-pipeline-definition などのほとんどのコマンドは、新しいパイプラインが作成されるまで不明なパイプライン ID を取得します。更新または再作成全体で一定のままのものを見つけることができません ( createpipeline コマンドの unique-id および name パラメーターは一貫していますが、上記のタスクにはそれらを使用できません (そのためにはパイプライン ID が必要です。

もちろん、出力を grep して検索し、スクリプトを作成しようとするシェル スクリプトを作成することもできますが、他にもっと良い方法はありますか? 私が見逃している他の情報はありますか？

どうもありがとう。

AWS Lambda 実行を介してソースパラメータを使用して AWS Data Pipeline を複数回アクティブ化する方法を誰でも説明できますか?

現在、最初の処理でパイプラインがアクティブ化されますが、その後のアクティブ化はメッセージの有無にかかわらず失敗します (アクティブ化パラメーターによって異なります)。

完全な処理ループは、データを S3 に移動してから、DataPipeline を開始してデータを Redshift に移行することです。

この抜粋は、AWS ドキュメントから取得されました。

終了したパイプラインをアクティブ化するには、パイプラインの終了日を変更してからアクティブ化します。

AWS ドキュメント リファレンス