etl - ETL でビジネス ルールをどのように実装する必要がありますか?

Question

フラットファイル経由でSSISを使用してメインフレームからデータをインポートする製品に取り組んでいます。SSIS パッケージは、ステージ データベースを使用してフラット ファイル データを変換し、ODS 内のストアド プロシージャを呼び出して、変換されたデータを読み込みます。すべての ETL データを (ストアド プロシージャを介して ODS に直接ではなく) .NET サービス レイヤーを介してルーティングし、ビジネス ルール/アクティビティなどを一元化する計画が考えられます。このアプローチに関する情報と反対意見を探しています。

Answer 1

いいですね。「検証」ステップを追加して、基本的なETLをETVLに変えています。通常、これは「変換」段階の一部と見なされますが、このようなアーキテクチャを概念化するときは、その段階をより純粋に保つことを好みます。transform は、抽出段階で引き出されて切り刻まれた生のフィールドをドメイン モデルのオブジェクトに変えています。これらのオブジェクトがシステムに対して有効な状態であることを確認することが検証です。