私は SSIS を初めて使用し、その並列処理機能を使用してデータベースからデータをインポートしようとしています。
私の仕事はこれを行うことです: 数テラバイトのデータベースを一連のフラット ファイルにできるだけ早くインポートします。
私はこれを考えていました：
Microsoft Server 2008 HPC クラスター (3 ノード) を自由に使用できます。HPC SOA ジョブを作成して、3 つの計算ノードすべてが SQL Server に独立して接続し、データの一部を並行してインポートできるようにすることを考えていました。もちろん、これは SSIS とは何の関係もなく、独立したユーティリティになります。
その後、SSIS とその並列インポート機能に出会いました。私のSSISサーバーはあまりハイエンドではありません.4GBのマシンしかありません。私はどういうわけかSSISを使用する傾向があります.SSISはデータインポートを行うための理想的なMicrosoftの方法です.
カスタム タスク (または利用可能なもの) を使用し、このインポートを並行して行う最良の方法は何ですか?
Gitmo、あなたの質問を誤解しているかもしれませんが、試してみます。SQL Server インスタンスから複数のファイルにデータを移動する必要がありますね。SSIS が提供する並列化されたデータ移動機能を活用したいと考えています。つまり、複数のデータ フロー タスク (DFT) が同時に実行されます。同時書き込みの問題のため、ターゲット ファイルごとに DFT を 1 つしか持つことができません。
ソースが SQL Server データベースで、ターゲットが一連のファイルである複数の同時実行データ フロー タスクを取得するには、次の方法を試すことができます (SSIS から取得できる並列化には上限があることに注意してください。 CPU コア数、BIDS/Visual Studio で実行しているかどうか、パッケージのさまざまな設定、サーバー、SQL Server インスタンス、およびその他の多くの考慮事項を含む多くの要因):
Microsoft SQLCAT チームによるこの優れた記事を見て、さらにアイデアや洞察を得ることができます: Top 10 SQL Server Integration Services Best Practices
これらの同じアイデアにはさまざまなバリエーションがあり、SSIS の内外で利用可能な他のソリューションが存在する可能性があります。幸運を！