sql-server-2008 - SSIS - Polling Files Folder and Trigger ETL Packages

Question

Need advice, see below scenario

We have developed 1 ETL Package which can process 5 files at one time (which usually takes 1 mins). We expect that nearly 100+ files can come to the PROCESSING folder during morningtime (means lets say between 6 am and 7am).

I'm struggling to design/develop some sort of polling mechanism, which keeps looking for files and if they arrive it will trigger ETL package (trigger through SQL Server Agent job).

How to do polling and then triggering that ETL Package - is Service Broker will help

I'm new to SSIS so need advise. Need to find solution within SQL Server rather than developing .net app to poll for folders and then trigger jobs

Regards

Answer 1

次の 2 つのオプションがあります。

1. MyTrigger のようにコマンドラインからパッケージを呼び出すフォルダーウォッチャーを設定し、CNET からダウンロードします。
2. あなたが言うように、SQLエージェントにそれを実行させたいと言っていますが、おそらくより効率的なもう1つのオプションは、ファイルテーブルを設定し、テーブルに挿入用のトリガーを作成することです。これは、sp_start_jobシステムストアドプロシージャでエージェントジョブを実行する必要があります.

Answer 2

私がやっていることは、スケジュールに従って SSIS パッケージを起動するようにエージェントをセットアップすることです。SSIS で最初に行うことは、処理するファイルがあるかどうかを判断することです。さまざまな理由から、これには小さなスクリプト タスクが必要です。ファイルが存在する場合は変数を設定して、スクリプト タスクに続く制約が次のタスクに進むようにします。ファイルが存在しない場合は、成功を報告するパッケージを終了します。

ロギングなどの補助的なニーズがない場合は、ファイルが見つからない場合にパッケージを正常に終了する for each file 列挙子を使用できます。

ps スケジュールを 1 分に設定し、パッケージの実行 (複数のファイルのインポート) に時間がかかる場合、元のプロセスが終了するまで次のスケジュールは開始されません。したがって、複数のプロセスが互いに干渉することを心配する必要はありません。

Answer 3

SSIS File Watcher Taskはどうですか?