最初にいくつかの背景。私たちはデータ ウェアハウスを開発しており、ETL プロセスに使用するツールについて調査を行っています。チームは非常に開発者中心で、全員が C# に精通しています。これまで、RhinoETL、Pentaho (ケトル)、Astrix Centerprise を見てきました。SSIS は、この質問の範囲外の多くの理由で提供されていません。
現時点では、RhinoETL のようなより開発者向けのものに傾倒しています。これは、開発者グループにとって最も抵抗の少ない方法のように思われるからです。RhinoETL にはない、他のより視覚的なデザイナー指向の製品は何かをテーブルにもたらしますか? これらの ETL ツールを評価する際に特に注意すべき点はありますか? 他にも調査すべきツールはありますか?
最近、同僚と一緒に RhinoETL と SSIS の間でいくつかの簡単なパフォーマンス テストを行いました。単純なデータ フローの場合、SSIS は常に RhinoETL よりも優れているようです (2,000,000 レコードを約 30% 速く移動します)。ソース管理 (この場合は TFS) を使用している場合、dtsx ファイル (SSIS ファイル) のバージョン間の違いを簡単に確認することはできません。RhinoETL で開発すると、TFS 機能を利用できます。
RhinoETL のもう 1 つの利点は、データ ウェアハウスの上にユーザー インターフェイスを開発する場合に見られます。これら 2 つのプログラム間でコードを共有できます。
私たちの SSIS チームのメンバーの何人かは .Net のバックグラウンドを持っていますが、私たちの経営陣は、.Net よりも開発者に SSIS を学んでもらう方が簡単だと感じたため、SSIS を使用して開発を続けることにしました (彼らは SSIS 2008 にアップグレードしましたが、まったく別のトピックです)。ネット。
これが遅い答えであることは知っていますが、すべての SSIS 機能を備えた適切な Elt が必要でしたが、100% .net 環境で、独自の開発を思いつきました。
確かに、パフォーマンスは SSIS ほど良くありません。巨大なボリュームを統合して変換するための優れたパフォーマンスが必要な場合でも、SSIS を使用する必要があると思います。
RhinoEtl のような他の kinda-etl ツールが提供しない、私が本当に必要としていた主なものは、必要に応じて記録するために簡単に操作できる単一の詳細のトレースを持つことを許可する適切なトレース システムです。私は、ファイル システム、ftp、sftp、xml、csv、entityframework コア、バルク ロード用に、すぐに使用できるアダプターを多数作成しました。変換プロセスの構造を表示するための視覚的なツールも思いつきました。
これまでに 10 か月かかりましたが、オープンソース化しました。まだ多くのドキュメントが不足しています (達成するには膨大な作業が必要です)。ベータ版で適切にリリースするには、はるかに多くの単体テストのセット (これも膨大な作業) で完成させる必要があります。まだアルファ版のままでも、会社のすべての ETL プロセスの基盤であり、非常にうまく機能しています。