問題タブ [ssis]

パイプで区切られ、サイズが約 230 MB の txt ファイルを開く Windows フォーム アプリケーションを作成する旅を始めようとしています。このアプリは、このデータを SQL Server 2005 データベースに挿入します (明らかに、これは迅速に行う必要があります)。このプロジェクトでは c# 3.0 と .net 3.5 を使用しています。

私はアプリを求めているのではなく、ここでいくつかの共同アドバイスと潜在的な落とし穴をアドバイスしています。SQL の一括コピーが前提条件であることを収集したサイトから、考えるべきことはありますか (フォーム アプリで txt ファイルを開くだけでも大変な作業になると思います。おそらく、それを BLOB データに分割しますか?)。

ありがとうございます。誰かが必要な場合は、明確にするために質問を編集します。

教祖である必要はありませんが、SSIS に関する実用的な知識があり、Web 上のいくつかのチュートリアルを使用してそこにたどり着いた場合は、それらを共有してください。私はいくつかの堅実なもの（おそらくスクリーンキャスト）を見つけようとしていますが、苦労しています.

堅実なリンクをいただければ幸いです。最後に、まとめた形式でこの質問に追加します。ありがとうございました。

これまでのところ、次のことがわかっています。

http://blogs.conchango.com/jamiethomson

http://sqlis.com

SQL Server Integration Services (SSIS) 内には、数百万のレコードを保持できるフラット ファイルへの接続をセットアップし、そのデータを SQL DB にプッシュする機能があります。さらに、このプロセスは、Microsoft.SqlServer.Dts.Runtime 名前空間を参照して使用することにより、C# アプリから呼び出すことができます。

何百万ものレコードを含むフラット ファイルを SSIS で実行するのが最適でしょうか、それとも集合的な "あなた" は複数のワーカー スレッド (行を読み取って変数に追加するスレッド、その変数から DB に書き込むスレッド) を持つ ac# アプリを好むでしょうか? 、そしてそれらのスレッドを管理する「マザー」クラス？(開発ボックスには 2 つの CPU があります)

このデータ ( sql team blog ) を見たところ、100 万行のフラット ファイルの場合、SSIS が最速であることがわかりました。

あなたの考えは何ですか？

まず、フラットファイルから1700万レコードを取得し、リモートボックスのDBにプッシュして、7分かかるのは素晴らしいことです。SSISは本当に素晴らしいです。しかし、そのデータがそこにあるので、重複を削除するにはどうすればよいですか？

さらに良いことに、フラットファイルを取得し、フラットファイルから重複を削除して、別のフラットファイルに戻したいと思います。

私は考えています：

Data Flow Task

• ファイルソース（関連するファイル接続を含む）
• forループコンテナ
• 別の行が存在するかどうかを判断するロジックを含むスクリプトコンテナ

よろしくお願いします。このサイトの誰もが信じられないほど知識が豊富です。

Update: 私はこのリンクを見つけました、この質問に答えるのに役立つかもしれません

通常のFTPではうまくいかない場合があります...SSISパッケージを介して安全なFTPを実行する必要がある場合、どの製品をお勧めしますか？

答える前に、誰かがすでに同じことを提案しているかどうかを確認し、提案している場合は投票してください。

NOTE:理想的には、SSHとSSL FTPの両方の接続を処理する必要がありますが、それが最も理にかなっている場合は、2つの別個のコンポーネントを検討します。

SSIS の理解を深めるために購入した本では、この点について詳しく説明されていないようで、SSIS で FastParse を有効にする方法を正確に知りたいと思っていました。

SSIS パッケージを作成しましたが、開発マシンでうまく動作します。しかし、本番サーバーで実行しようとすると、エラーが発生します。

エラーは次のとおりです。

原因はわかったのですが、直し方がわかりません。パスワードが接続文字列に含まれていません。しかし、SSIS プロジェクトでパスワードを設定しました。ただし、何らかの理由で、これを運用サーバーに展開して実行すると、パスワードが接続文字列の一部ではないため、実行されません。

これを正しく機能させるために変更する必要がある SSIS プロジェクトの設定はありますか?

ありがとう。

私は、Sybase のセットアップについてほとんど (おそらく何も) 知りませんが、SSIS が Sybase を分散トランザクションに登録する際に問題を抱えていることは知っています。誰もこれを機能させることができましたか？

これは、パッケージの TransactionOption を Required に変更したときに発生します。デフォルトの「サポート」に戻すと、パッケージはエラーなしで実行されます (ただし、スレッドセーフではありません)。

次のコマンドを使用して、bat ファイルから DTSX パッケージをリモートで実行しようとしています。

これはローカルでは正常に機能していますが、リモートでは失敗しています (指しているマシンの管理者権限があり、SQL 権限も持っています) タイムアウト エラーが発生しています (ログイン タイムアウトの期限が切れています)。

ファイルがディレクトリにアップロードされるたびに、SSIS を呼び出して XML ファイルを解析する必要があるアプリケーションがあります。

.NET Windows サービスから SSIS を直接呼び出すことはできますか?