次の基準に最適な ETL ツールを探しています。
- MongoDB をサポート
- メタデータを入力として受け入れます (または、ファイルを受け入れてそのメタデータをオンザフライで構築します)
- 構成可能なマッピングを提供します。(マッピングは、いくつかのファイルまたはテーブルを使用して、外部開発から定義できます)
上記のニーズに対応するツールを提案してください。
1 に答える
1
うーん、あなたの探求は、最も構成可能な ETL ツールを探しています。過去数年間の ETL プロセスの経験から、すべての要求を満たすツールは決して見つからないことをお知らせします。特に、エンタープライズ レベルのデータ ウェアハウスがある場合 (高度で複雑なレポートのニーズのために必要)、唯一のソフトウェアソリューションは、独自のカスタム プロジェクト ベースの ETL ソフトウェアを構築することですが、これはしばしば恩知らずです。
しかし(大きなことですが)、既存のツールで少なくとも 80% のニーズを達成できます。プラグイン、スクリプトのスマートな使用法、優れたデータ フロー設計、および (必要に応じて) スケジューリングと組み合わせた小さなカスタム ソフトウェアは、想像されたプロセスを実現するのに役立ちます。ETL プロセスは、他の作業と比較して変わらないようです。80% of the work is done in 20% of time, and the rest of work (20%) is done in 80% of time.
あなたへの私の提案：
Pentaho データ統合- フリーでオープンソース
PDI は強力な ETL ツールであり、surley はあなたの要求を満たすことができます。より多くのプラグインを開発する場合は、たくさんのプラグイン、堅固なレベルのコミュニティ、優れた API があります。
Pentaho Data Integration + Integration Server - Enterprise Edition - ほぼすべての中規模プロジェクトに「十分に安い」
Enterprise エディションには、より多くのプラグイン (JMS プロデューサーなど)、バージョン管理システム、instaview などを含む無料版のようなすべてが含まれています。さらに、独自のサーバーがあるため、スケジューリングはソフトウェアベース (OS ベースではありません)、ロギング、より優れた管理、そして最も重要なこと - サポートです!
Informatica または Microsoft SSIS - 高価で素晴らしい
私はこのツールについて言葉を無駄にしません。Informatica は主要な ETL 指向の企業であり、Informatica を高レベルで使用するには、DB/DWH 設計、ETL プロセス、PL/SQL、ディメンション モデリングなどに関する深い理解が必要です。
SSIS は主に SQL Server 用に構築されているため、ソース データベースまたはターゲット データベース (DWH) の少なくとも 1 つが SQL Server で実行されていない場合、使用率が高くなる必要はありません。
結論
これは、市場が私たちに提供する多くのツールのほんの一例にすぎません。他の誰かは、おそらくこれらのツールについて言及することさえしないでしょう。リストの 1 つを見てください。
ほとんどの BI システムには、独自の ETL ツールがあります。一緒に使用するのが良い選択かもしれません。そうすれば、両方を最大限に活用することができます。
注: 優れた ETL プロジェクト マネージャーまたは ETL 開発者は、ツールの利点をより優れた/より高価なレベルまで拡張できます。
于 2014-08-12T14:03:22.357 に答える