問題タブ [ssis]

SSIS パッケージを単体テストするにはどうすればよいですか? ワークフロー タスク、データ フロー タスク、イベント ハンドラーなど、さまざまなコンポーネントの単体テストを作成および維持できるようにしたいと考えています。

使用できる既存の手法、フレームワーク、および/またはツールはありますか?

SQL Server Integration Services パッケージを可能な限りポータブルにしようとしていますが、それを妨げているのは、構成へのパスが常に絶対パスであるため、テストと展開が頭痛の種になることです。これをより管理しやすくするための提案はありますか?

もう 1 つの問題は、別の開発者がパッケージをソース管理から外した場合、パスが開発者のマシンに固有のものになることです。

SSISからExcelワークシートの行を削除することは可能ですか?

SSIS 2005/2008 は、ファジー ルックアップとグループ化を行います。T-SQL で同じことを行う機能はありますか?

SSIS を使用して 2 つのデータベース間でデータを同期しています。私は過去に SSIS と DTS を使用したことがありますが、通常はこの性質のアプリケーションを作成します (私はコーダーであり、そのほうが簡単です)。

私のパッケージでは、約 15,000 行を返す SQL タスクを使用しています。これを Foreach コンテナーに接続し、その中で結果セットの列の値を変数に割り当て、それらの変数を別の SQL タスクに供給されるパラメーターにマップします。

私が抱えている問題はデバッグに関するものであり、ブレークポイントや実行時の値の評価などのより複雑なデバッグだけではありません。つまり、これをデバッグなしではなく実行すると、完了するまでに数時間かかるということです。最終的に Delphi でプロセスを書き直した結果、次のようになりました。

データのフル プッシュ:
15,000 行をプルし、各行の宛先テーブルを更新してから、11,000 行をプルし、各行の宛先テーブルを更新します。

デバッグ:
Delphi アプリ: 139 秒
SSIS: 4 時間 46 分

デバッグなし:
Delphi アプリ
: 132 秒 SSIS: 384 秒

データの更新:
これにより 3,000 行がプルされますが、更新は必要なく、宛先テーブルに対しても行われません。次に、11,000 行をプルしますが、ここでも更新は必要なく、宛先テーブルに対しても行われません。

デバッグ:
Delphi アプリ: 42
秒 SSIS: 1 時間 10 分

デバッグなし:
Delphi アプリ: 34 秒
SSIS: 205 秒

奇妙なことに、このデバッグに費やされる時間のほとんどは、Visual Studio の UI 要素を更新することだけに費やされているように感じます。進行状況タブを見ると、各反復 (合計数千回) ごとにノードがツリーに追加され、プロセスが進行するにつれて、これはますます遅くなります。Visual Studio が UI を更新するループに巻き込まれているように見えるため、通常、デバッグを停止しようとしてもうまくいきません。SQL Server のプロファイラーを確認すると、実際の作業は行われていません。マシンが重要かどうかはわかりませんが、仕事には十分すぎるはずです (クアッド コア、4 ギガの RAM、512 MB のビデオ カード)。

この種の行動は正常ですか？私が本業のコーダーであると述べたように、私はこの種のアプリを書くことに何の問題もありません (実際、SSIS でアプリケーションを「描画」するよりも、アプリケーションをコーディングするのにかかる時間ははるかに短くなりますが、私はSSIS でより多くの作業を行うとマージンが縮小すると考えてください)、しかし、SSIS や DTS のようなものが私のツールボックスに収まる場所を見つけようとしています。これまでのところ、それについて本当に私を感動させたものは何もありません。何らかの方法で SSIS を誤用または悪用している可能性がありますか?

どんな助けでも大歓迎です、事前に感謝します!

MS Access データベースから情報を取得する VB.NET Windows アプリケーションがあります。アプリケーションの主な役割は、さまざまな形式の Excel ファイルから情報を抽出し、ファイル レイアウトを標準化し、それを csv ファイルに書き出すことです。アプリケーションは、キーと相互参照ファイルのソースとして MS Access を使用します。

Windows アプリは、データベース間のユーザー操作の多くに型指定されたデータセットを使用します。標準化は、各クライアント マシンで行われます。アプリケーションではありません...どのように私はこれを言うことができます...速い:-)。

質問: DB とアプリケーションを SQL Server 2005 に移行する最善の方法は何ですか。SSIS パッケージで標準化のためのコードを記述するのは良い考えだと思います。

この移行の適切な方法は何ですか?

このアプリケーションは、毎週 250 個の Excel ファイルから、毎月約 800 個のファイルから、ファイルあたり平均約 5000 行のデータを取得します。標準化され、3 つの異なる標準形式に出力される 13 の異なるファイル形式があります。申請には25分かかります。対象のデータの実行に応じて、実行に 40 分かかります。アプリケーションの 95% は標準化プロセスです。ユーザーが行うことは、いくつかのパラメーターを選択して実行を開始することだけです。

ソース データは (000000000000054390-) として保存され、-543.90 を意味します。SSISを使用してこれを行うにはどうすればよいですか?

ありがとうアリフ

DTS パッケージを新しい SSIS 2005 に変換するためのチュートリアルまたはチュートリアルを探しています。

いくつかの DTS パッケージを SQL Server 2000 から 2008 に移行して、どれだけの手間がかかるかを確認しようとしています。ローカル マシンに SQL Server 2008 の標準バージョンがインストールされています。

Microsoft SQL Server 2000 DTS Designer Components と Microsoft SQL Server 2005 Backward Compatibility Components をmsdnから推奨どおりにダウンロードし、必要な dll をこちらの推奨に従ってコピーしました。

1 つの DTS パッケージを .dtsx ファイルに変換したところ、変換タスクが SSIS パッケージに埋め込まれたミニ DTS パッケージに変換されていることがわかりました。

問題は、それらを編集しようとすると、詳細に従って DTS.CDTSLegacyDesignerClass.ShowDesigner() で「保護されたメモリの読み取りまたは書き込みを試みました...」というエラーが表示されることです。

また、「DTS200 パッケージを内部的に読み込む」ボタンがグレーアウトされています。

私は Windows Vista Professional を使用しています。これが原因ではないかと思います。

経験者で解決した方、助けてください！！

Sql Server Business Intelligence Development Studio で dtsx パッケージを作成し、dtexec ユーティリティを使用して実行しています。dtexec を使用して、/set スイッチを使用して実行時に特定のプロパティを設定しています。したがって、私のコマンドは次のようになります。

これは、ローカル システム (開発されたシステム) で実行すると完全に機能します。残念ながら、このパッケージを別のシステムにコピーして、まったく同じコマンドを実行しようとすると、次のエラーが表示されます。

パッケージの移動先の新しいシステムには SSIS がインストールされており、ローカル システム (SP2) と同じバージョンの Sql Server を実行しています。dtsx パッケージの使用目的について誤解しているのかもしれませんが、これがどのように/なぜ起こっているのか本当にわかりません。