データベースにロードするファイルのリストを含むテキスト ファイルがあります。
リストには次の 2 つの列が含まれます。
FilePath,Type
c:\f1.txt,A
c:\f2.txt,B
c:\f3.txt,B
このファイルを SSIS のソースとして提供したいと考えています。次に、1行ずつ通過させたいと思います。行ごとに、FilePath 列のファイルを読み取り、Type を確認するようにします。
タイプが A の場合、現在の行の FilePath 列にあるファイルの最初の 4 行を無視し、そのファイル内の残りのデータをテーブルにロードします。タイプが B の場合、ファイルを開き、ファイルの最初の列をテーブル 1 に、2 番目の列をすべての行のテーブル 2 にコピーします。
誰かが私が従う必要がある手順の高レベルのリストを提供してくれれば、本当に感謝しています.
どんな助けでも大歓迎です。
SSIS 内でこれを行う 1 つの方法を次に示します。以下の手順はSSIS 2008 R2に関するものです。
FileName、FilesToReadおよび) を作成しますType。FilesToRead 変数は、ファイルのリストとそのタイプ情報を保持します。これらの各レコードを通過し、ループするたびにFileName変数とType変数に情報を格納するループがあります。
SQLServerます。FileNameれTypeますFiles。Type_A。このフラット ファイル接続マネージャーで、テキスト ボックスに値 4 を入力しHeader rows to skipて、最初の 4 行が常にスキップされるようにします。Type_B。
Files配置し、Recordset Destination. FilesToReadレコードセットの宛先で変数を構成します。最初のデータ フロー タスクは次のようになります。
FilesToRead。レコードセットには 2 つの列が含まれているため、レコードがループされるたびに、変数FileNameとType現在のレコードの値が割り当てられます。
Type A filesありType B filesます。これらのデータ フロー タスクのそれぞれを要件に従って構成し、接続マネージャーからファイルを読み取ることができます。ただし、読み取られているファイルに基づいてタスクを無効にする必要があります。Type A filesデータ フロー タスクは、A タイプのファイルが処理されている場合にのみ有効にする必要があります。Type B filesデータ フロー タスクは、B タイプのファイルが処理されている場合にのみ有効にする必要があります。Type A filesデータ フロー タスクをクリックし、F4 キーを押してプロパティを表示します。プロパティで使用可能な省略記号ボタンをクリックしExpressionます。Disableプロパティ] を選択し、式を入力します。!(@[User::Type] == "A")
Type B filesデータ フロー タスクをクリックし、F4 キーを押してプロパティを表示します。プロパティで使用可能な省略記号ボタンをクリックしExpressionます。Disableプロパティ] を選択し、式を入力します。!(@[User::Type] == "B")
Type A filesデータ フロー タスクのみが実行されることがわかります。
Type B filesデータ フロー タスクのみが実行されることがわかります。
CR LF行がキャリッジ リターンとライン フィードで終了していることを示します。このファイルはパス C:\f1.txt に保存されます。
dbo.Table_Aここに示すように、SQL Server データベースでという名前のテーブルを作成しましょう。
Type A files接続マネージャーが構成されたので、対応するファイルを処理するようにデータ フロー タスクを構成する必要があります。データ フロー タスクをダブルクリックしますType A files。タスク内にフラット ファイル ソースと OLE DB 変換先を配置します。
DelayValidationプロパティを に設定しますTrue。EllipsisプロパティのボタンをクリックしExpressionsます。
ConnectionStringプロパティを選択し、式に設定します。@[User::FileName]
あなたの仕事を達成するのに役立つことを願っています。
実行するファイルの読み込みの種類ごとにSSISパッケージを作成することをお勧めします。これらのパッケージは別のプログラムから実行できます。ここを参照してください：.NETからSSISパッケージを実行する方法は？
この情報があれば、関連するパッケージを実行するための簡単なプログラムを作成できます。
var jobs = File.ReadLines("C:\\temp\\order.txt")
.Skip(1)
.Select(line => line.Split(','))
.Select(tokens => new { File = tokens[0], Category = tokens[1] });
foreach (var job in jobs)
{
// execute the relevant package for job.Category using job.File
}
私のソリューションは、ソース ファイルを処理するための N + 1 個のフラット ファイル接続マネージャーのように見えます。CM A は最初の 4 行をスキップするファイル形式に対応し、B は 2 列のファイルのように聞こえます。最後の CM は、説明したコマンド ファイルを解析するために使用されます。
これらの接続マネージャーをすべて定義したので、処理ロジックに取り掛かることができます。
3 つの変数を作成します。文字列型の 2 (CurrentPath、CurrentType)。1 は Object 型で、これを Recordset と呼びます。
最初のデータ フローは、「CM コントロール」を使用してフラット ファイル ソースからすべての行を読み取ります。これは、例で提供したデータです。
次に、その Recordset オブジェクトを、一般にシュレッディングと呼ばれる ForEach ループ コンテナーのソースとして使用します。「Shred recordset ssis」という言葉を思い浮かべると、その方法を説明する記事がたくさん出てくるはずです。最終的な結果として、そのソース CM 制御ファイルの各行に対して、それらの値を CurrentPath および CurrentType 変数に割り当てます。
そのループ コンテナ内に、制御が放射状に広がるように、制御の中心点を作成します。これにはスクリプト タスクが最適です。それをキャンバスにドラッグし、何にも使用されないことを示す厳密な名前を付けてから、各処理順列を処理するデータ フローを作成します。
魔法は式を使用することから生まれます。SSIS のほぼすべての Dang は、そのプロパティに式を設定できます。これが、プロとポーザーを区別するものです。ここで、特定のデータ フローに接続している線をダブルクリックし、制約の種類を [制約] から [式と制約] に変更します。次に使用する式は次のようなものです@[User::CurrentType] == "A"。親タスクが成功し、条件が真です。
式マジックの 2 番目のビットは、接続マネージャー自体に適用されます。プロパティの値によって駆動される ConnectionString プロパティが必要@[User::CurrentFile]です。これにより、設計時の値C:\filea.txtは許可されますが、制御ファイルからの実行時の値は次のようになります。\\network\share\ClientFileA.txtすべてのファイルが同じ構造でない限り、プロパティで DelayValidation を True に設定する必要があります。そうしないと、SSIS は PreValidation に失敗します。これは、"CM A" から "CM N" までのすべてが、そのファイル レイアウトの有効な接続文字列である場合とそうでない場合がある CurrentFile 変数を使用するためです。