ETLのビジネス全体は、データのソースが宛先データソースと互換性がないという前提に基づいています。そして、多くの場合、ソースデータをダンプする人々は、このデータを収集して集約する必要があるとは考えていない可能性があります。これが、ETLのビジネス全体が存在する理由です。
市販のETLツールは、ソース入力を魔法のように読み取り、宛先データベースのルールに従ってデータを変換しません。ルールを定義して、ETLツールにフィードする必要があります。興味深いことに、多くの企業がトレーニングを提供しています!!! 独自のスクリプト言語の使用方法について。したがって、それは必ずしも簡単ではありません。しかし、プログラマー以外の人にとっては、おそらくこれが好ましいルートです。
個人的には、Perlのような言語で独自のETLツールを作成する方が常に簡単だと思います。ステートマシンアルゴリズムを記述して、ソースデータをリッピングし、目的の形式に変換するだけです。私はPerlを使用してマシンにFTPで転送し、ファイルを読み込み、データを変換してから、データベースにロードします。これは常に優れたソリューションであり、Perlなどに習熟している場合、またはPerlを知っている人を雇うことができる場合ははるかに高速です。
そして最後のポイントは、終わりを念頭に置いて開始することです。ソースデータを構造化された形式でダンプして、を集約して調査したい会社の分析グループを支援します。これにより、ETLプログラムの開発がより簡単かつ迅速になります。