問題タブ [etl]

私は最近、TalendやApatarなどのいくつかのETLツールに触れましたが、これらのツールの目的/主な目的は素人の観点から正確に何であるか疑問に思いました。誰が主にそれらを使用し、あなたがそれらを使用する場合、それらは（私の理解から）ある種のスクリプトを書くよりも優れています。

次の (長い) SQL ステートメントを使用して、タイプ 2 ディメンションを変更しています。

これを、データ ウェアハウスをロードする ETL の一部として実行しています。組み込みたいのは、ログ テーブル/ファイルなどのすべての変更を追跡できる詳細なログ システムです。

MERGE と INSERT で使用される OUTPUT の間に実際に行われるすべての作業は、舞台裏で行われます。このクエリに参加したすべての列と値を追跡したいと考えています。

このデータを取得する方法はありますか?

私の会社のほとんどは、データベース間の Extract-Transform-Load タイプのデータ移動ジョブに powercenter informatica を使用しています。

ただし、私が取り組んでいるプロジェクトには、データを移動して他の更新をトリガーするための適切な手段として、Java が投入された大きなカスタム Perl ジョブがあります。

代わりに powercenter を使用するように書き直すという話がありますが、そのようなプロジェクトに関する人々の経験は何ですか?それは理にかなっていますか? このような「既製」のソリューションに移行することで、多くの柔軟性を犠牲にしているように見えますが、ETL ツールは、たとえば生産性の面で大きなメリットをもたらしますか?

進行中の倉庫作業については、複数のプロジェクトを含む単一のソリューションがあります

1. OLTP データベース プロジェクト
2. 倉庫データベース プロジェクト
3. SSIS ETL プロジェクト

SSIS プロジェクトがビルドされた後、バイナリ (実際には XML) を Bin フォルダーから "C:\AutomatedTasks\ETL.Warehouse\" および "C:\AutomatedTasks\ETL" に移動したいと考えています。

SSIS プロジェクトでそれを行うためのビルド後のイベントが見つかりません。彼らはどこにいる？それらが利用できない場合、どうすればこれを達成できますか?

これまでに作成したすべての ETL について、トランザクションを作成したことはありません。つまり、表 4 が失敗した場合は、すべてをロールバックします。

この点でのベストプラクティスは何ですか?

「BeginTran + Commit」するか「BeginTran + Commit」しないか

編集: 4 つの他のパッケージを呼び出す 1 つのマスター パッケージがあります。それらすべてを 1 つのトランザクションにまとめることができますか?

投稿を検索しようとしましたが、SQL Server/Access のソリューションしか見つかりませんでした。MySQL (5.X) のソリューションが必要です。

hostid、itemname、itemvalue の 3 つの列を持つテーブル (履歴と呼ばれる) があります。
select（select * from history）を実行すると、返されます

データベースにクエリを実行して次のようなものを返すにはどうすればよいですか

重複: https://stackoverflow.com/questions/1259545/let-me-know-alternate-command-in-dos-for-following-sed-and-perl-commands-closed

次のコマンドは、UNIX ボックスで独自の実装を持っています。

informatica(etlツール)で実装する必要があります。同じためのWindowsソリューションがない場合

Talend 3.1 を数か月間使用しています。ただし、最新の MapForce への切り替えを検討しています。.Net ソリューションにコンパイルされ、それ以外の場合は .Net ハウスだからです。そうは言っても、Talend は非常に使いやすく、拡張も容易です。Talend のジョブは、新しい開発者がジョブを理解し、既存の問題を修正することを非常に簡単にします。Talend には一般的にバグがあるように見えます (UI の反応が遅い、奇妙な動作など)。

どちらかまたは両方を使用したことがある場合、それらがどのように一致するかについて意見をいただけますか?

ありがとう

私はETLを（mongodbバックエンドを備えたpythonで）書いていますが、疑問に思っていました.ETLをETLと呼ぶ必要がある標準関数とツールは何ですか？

この ETL は、スクリプト可能でモジュール化されたアプローチにより、可能な限り汎用的なものになります。ほとんどの場合、さまざまなデータベースの同期を維持し、さまざまな形式 (xml および csv) でデータセットをインポート/エクスポートするために使用されます。多次元ツールは必要ありませんが、後で必要になる可能性があります。

SQL Server 2005 にインポートする必要がある CSV データごとに約 5k のファイルがいくつかあります。

これは、以前は DTS では簡単でした。以前に SSIS を使用しようとしましたが、約 10 倍の労力がかかるようで、最終的にあきらめました。

csvデータをSQLサーバーにインポートする最も簡単な方法は何ですか? 理想的には、ツールまたはメソッドでテーブルも作成します。これには約 150 のフィールドがあるため、作業が簡素化されます。

このデータでは、正しくインポートされていないために手動で変更する必要がある行が 1 つか 2 つある場合があります。