200 以上の分散システム (Windows、AS400、Linux など) 向けの ETL システムに関する推奨事項を探しています。
すべてのお客様から毎月データを収集し (システムの種類に関係なく)、データを持ち帰り、すべてをまとめて処理し、集計ソリューションをお客様に送り返します。私はこのシステムを自動化する任務を負っています - これを確実に行う方法についての提案はありますが、車輪の再発明は本当にしたくありません. 私はデータをプルしているシステムを所有していないため、このタスクはより困難になりましたが、クライアントをインストールすることはできます。
トランスポート用の FTP を使用して Java でクライアント/サーバー アーキテクチャのプロトタイプを作成しましたが、脆弱に感じます。さまざまなシステムの抽出/変換コードはすべて Java に既に存在することに注意してください (レガシーではありますが)。
現在は月に 1 回データを取得していますが、毎週に向けて取り組んでいます。
どんな洞察も高く評価されます。
プロジェクトがどうなるかによると思います。このプロジェクトでさらに要件が追加され、費用がかかる場合は、ETL ツールを使用することをお勧めします。
ただし、現在出力 (レポート) を修正しており、どこにも行くつもりがない場合は、カスタム ETL を使用する価値があるかもしれません。その理由は、ほとんどの ETL ツールにはさまざまな出力形式 (チャート、テキスト ファイルなど) があり、ツールを使用するのに便利だからですが、最終的には、データ移動部分はすべてのツールでほぼ普遍的です。他の ETL ツールを使用しても、現在行っているのと同じクエリを実装する必要があり、さらにツールを学習する必要があります。知るか？一部のツールは、200 以上のサイトのインストールに関与している可能性があります。
最近、私たちの会社は、社内の ETL が遅く、プロフェッショナルに見えないことで批判されているため、優れた ETL を構築するためにレポート ツール、サーバー、人材を購入するために多額の費用を費やしました (ご存知のように、一般的な ETL ツールを使用していません。スクリプトコマンドの束です）。多額の費用を投じたため、プロジェクトはほぼ行き詰まりに直面しました。
もう一つ。Java と FTP がこのプロセスにどのように関与しているかわかりません。SQLを使用して顧客システムのDBに直接接続できますか? 可能であれば、JAVA と FTP を使用するよりも、SQL とストアド プロシージャを使用する方が常に優れています。
それが役立つことを願っています。