2

ETL ジョブが完了した後、AWS Glue スクリプトでストアド プロシージャを呼び出す最良の方法は何ですか?

PySpark を使用して S3 からデータを取得し、ステージング テーブルに格納しています。このプロセスの後、ストアド プロシージャを呼び出す必要があります。このストアド プロシージャは、ステージング テーブルから適切な MDS テーブルにデータをロードします。

ETL ジョブが完了した後にストアド プロシージャを呼び出す必要がある場合、最善の方法は何ですか? AWSラムダを検討すると、ETLの後にラムダに通知できる方法はありますか.

4

3 に答える 3

0

SDK を直接使用することで、追加のインフラストラクチャを設定せずに調整できますが、それが不可能な場合もあります (ネットワーク、セキュリティ、アーキテクチャなど)。

その場合、ジョブのステータスが SUCCEEDED に変わったときに Lambda をトリガーする Cloudwatch ルールを設定できます。

イベントパターン:

{
  "detail-type": [
    "Glue Job State Change"
  ],
  "source": [
    "aws.glue"
  ],
  "detail": {
    "state": [
      "SUCCEEDED"
    ]
  }
}

このイベントで Lambda をトリガーします。

于 2020-06-05T21:49:34.767 に答える