Snowflakeでのデータ系統の処理に関するアイデア/オプションはありますか? 特定のイベントがトリガーされるとすぐに、かなりの数の SQL クエリを含む一連のストアド プロシージャを実行するマイクロサービス アーキテクチャに従っています。
例: テーブル A にデータが入力されている場合、SP_Populate_Table_B を実行すると、テーブル B にデータが入力されます。ステージング エリア、DataVault、および次元モデルにデータを入力しているため、SP の大きなセットがあります。
私たちは、ETL を実行するこのマイクロサービスの方法に関するすべてのメタデータを処理する良い方法を探しています。テーブル間の依存関係を追跡し、オーケストレーションを視覚化し、テーブルが変更されたときに SP の変更を処理するためのより良い方法を提供する基本的に自動化された方法。
Snowflake で試したフレームワークやツール (できればオープンソース) についてアドバイスをいただけますか? DBTはそれに対する解決策になるでしょうか？
ありがとうパンテリス