私の会社では、特定の日に実行される多数のデータ フィードと処理があります。フィードと処理ステップの数は、現在管理されているようにアドホックに管理する能力を上回り始めています。依存関係のロギングと管理/スケジューリングに役立つ優れたソリューションはありますか?
例:
A: ファイル x がディレクトリ D1 にドロップされた FTP である場合、処理ステップ B を開始します
B: DB1 にフラット ファイルをロードします
C: ファイル y がディレクトリ D2 にドロップされた FTP である場合、処理ステップ D を開始し
ます D: フラット ファイルを次の場所にロードしますDB11
E: B と D が完了したら、データをかき回し、新しいデータを DB111 にロードします。
F: ステップ E が完了したら、アプリケーション プロセスを起動します。 P
G: など...
B が失敗した場合は言うまでもなく、これらのステップを適切なタイミングで実行する必要があります。ステップ E と F を実行する理由はありませんが、C と D を実行することはできます。B を正常に再実行すると、E だけがトリガーされます。 C & D ではなく & F を再実行します。
私たちは .NET/C#/Sql Server ショップで、SSIS には既に精通しています。それは本当に最高ですか？これはステップを適切に管理しますが、外部依存関係やログは管理しません。オープン ソース (.NET) が推奨されますが、必須ではありません。