etl - 重複する行/レコードが見つかった場合にグラフを停止する Ab initio コンポーネント

Question

こんにちは、データ操作の後にテーブルにロードする Ab initio グラフがあります。重複行が見つかった場合に、(データをテーブルにロードする前に) プロセスを終了するための何らかの検証コンポーネントを探しています。

重複する行には一意の ID がありますが、その列/レコードの一部を無視することもできます。

Answer 1

2 つのグラフを作成します。グラフ 1. 重複排除ソートを入れてレコードを渡します。重複レコードをファイルに収集します。次に、そのグラフの終了スクリプトでそのファイル数を確認します。カウントが 0 の場合、グラフ 2 を呼び出します。それ以外の場合、グラフは失敗します。

グラフ 2: 重複除去コンポーネントの出力で表を更新します。

Answer 2

このシナリオは 2 つの方法で処理できます

1. データベース レベルで

   テーブルに制約がある場合は、TABLE コンポーネントの次のプロパティを使用するだけです。

   a. ignoreDuplicates
   b. reject-threshold
   

2. グラフレベル

   重複排除コンポーネントを取得し、重複排除ポートを再フォーマットに接続し、再フォーマット内で force_error 関数を使用します。

   #2 の重要な注意事項: テーブル コンポーネントのフェーズを再フォーマット コンポーネント (force_error を含む) よりも高くしておくとよいでしょう。これにより、障害が発生した場合でも、テーブルに影響がないことが 100% 確実になります。データ。