2

AWS Data Pipeline サービスを使用したいと考えており、AWS CLI を使用してパイプラインを作成、配置、アクティブ化する手動の JSON ベースのメカニズムを使用して作成しました。

私の質問は、パイプライン定義で何かが変更された場合、パイプラインの編集または更新を自動化するにはどうすればよいですか? 私が想像できる変更は、スケジュール時間、アクティビティまたは前提条件の追加または削除、DataNodes への参照、リソース定義などです。

パイプラインが作成されると、公式ドキュメントでここに記載されているように、かなりの数を編集できません。 #dp-edit-pipeline-limits

これにより、パイプラインの更新を自動化したい場合、新しいパイプラインを削除して再作成/アクティブ化する必要があると思いますか? はいの場合、次の質問は、以前のバージョンの ID を識別し、それを削除して新しい ID を作成する自動プロセスを作成するにはどうすればよいかということです。基本的に、構成 JSON ファイルが自動的にリリースおよびデプロイされる、このためのリリース管理フローを構築しようとしています。

activate、delete、list-runs、put-pipeline-definition などのほとんどのコマンドは、新しいパイプラインが作成されるまで不明なパイプライン ID を取得します。更新または再作成全体で一定のままのものを見つけることができません ( createpipeline コマンドの unique-id および name パラメーターは一貫していますが、上記のタスクにはそれらを使用できません (そのためにはパイプライン ID が必要です。

もちろん、出力を grep して検索し、スクリプトを作成しようとするシェル スクリプトを作成することもできますが、他にもっと良い方法はありますか? 私が見逃している他の情報はありますか？

どうもありがとう。

4

1 に答える 1

3

スケジュールを完全に編集したり、参照を変更したりすることはできないため、パイプラインの作成/削除がシナリオに最適な方法のようです。

パイプラインを削除するには、pipeline-id が必要です。その記録をどこかに残すことはできないのでしょうか。たとえば、最後に使用された ID を持つファイルをローカルまたは S3 に保存できます。

私が考えることができる他のいくつかの方法は次のとおりです。

  • アカウントにパイプラインが 1 つしかない場合は、パイプラインをリストして、唯一の結果を使用できます。
  • パイプライン名がわかっている場合は、パイプラインをリストして ID を見つけることができます
于 2015-07-07T19:06:15.460 に答える