問題タブ [etl]

私はソフトウェア自動ビルドツール（Automated Build Studioなど）に精通しています。今、私はETLツールを見ています。

私の頭に浮かぶのは、ソフトウェアビルドツールを使用することで、ETLツールでできることは何でもできるということです。ETLツールは、データの読み込みと操作に合わせて調整されており、そのために多くのスクリプトが必要になります。一方、ソフトウェアビルドツールは、任意の形式のデータを任意の形式に抽出、変換、およびロードするためのスクリプトの作成など、あらゆるジョブを実行するのに十分な汎用性を備えています。

私は正しいですか？

プロジェクトに取り組んでいると、データベース スキームを見て、新しいスキームで作業するためにデータをエクスポートしなければならないことがよくあります。

多くの場合、保存されているデータがかなり粗いデータベースがありました。つまり、フィルタリングされていない文字がたくさん保存されているということです。この情報をフィルタリングしてきれいな UTF-8 CSV ファイルを作成し、それを新しいデータベースに再インポートするために、自分でカスタム php スクリプトを書いていることに気づきました。

これを処理するためのより良い方法があるかどうか知りたいですか？

ETL ツールを探していたところ、Google で Pentaho Kettle について多くの情報が見つかりました。

また、スター スキーマで実行するデータ アナライザーも必要です。これにより、ビジネス ユーザーはさまざまな種類のレポートやマトリックスを操作して生成できます。再び PentaHo Analyzer は良さそうです。

アプリケーションの他の部分は Java で開発され、アプリケーションはデータベースに依存しない必要があります。

Pentaho で十分か、確認すべき他のツールがあります。

15 年前のコードベースをアップグレードしています。ネイティブの BCP 形式のデータ ファイルを作成する必要があります。

新しいシステムでは、C# の DataTable オブジェクトのデータを利用して、ネイティブの BCP 形式でデータ ファイルを作成することが理想的です。

これを行うことができますか?もしそうなら、最善のアプローチは何でしょうか?

私はインターネットページからさまざまな入力を取得するアプリケーションの開発に取り組んでいますが、各情報スニペットは異なる場所（マッシュアップ）から取得されます。ビジュアルツールを使用してマッシュアップビルディングブロック（スニペット）を生成したいと思います。そのようなプロジェクトに使用できる同様の何かを知っていますか？（すでに制御、サンプルコード、記事などが作成されています。）推奨される開発環境は.NETですが、必須ではありません。

SSIS パッケージは、txt ファイルから sql データベースにインポートするだけです。パッケージを作成したとき、古いファイルを使用していて、その実行はうまくいきました。古いソース ファイルは (10 列)、新しいソース ファイルは 15 列になりました。ソースファイルがその失敗を変更したとき。[フラット ファイル ソース [1]] エラー: データ変換に失敗しました。列「列 10」のデータ変換で、ステータス値 4 とステータス テキスト「テキストが切り捨てられたか、ターゲット コード ページで一致する文字が 1 つ以上ありませんでした。」が返されました。列の変動により、これをより良い方法で解決する方法が問題になりましたか? 新旧両方のフォーマットファイルを同じパッケージで処理する必要がある場合。

ありがとう

エンタープライズ インポート ルーチンのカスタム ファイル解析に最適なソリューションを探しています。基本的に、1 つのファイル形式を標準のファイル形式に変更し、そのデータをデータベースにインポートするルーチンを 1 つ作成したいと考えています。標準またはテンプレートの形式に顧客を準拠させるのは難しいため、クライアントごとにカスタム スクリプトを作成できる必要があります。これまでのところ、これを行うために PowerShell と Iron Python を見てきましたが、これが私が行きたいルートかどうかはわかりません。また、ドラッグ アンド ドロップ スタイルのツールである Talend などのいくつかのツールも調べましたが、柔軟性に関しては、必要なものが得られる場合とそうでない場合があります。私たちは .NET ショップで、過去にこれを行うためのカスタム コードを作成しましたが、新しいファイル形式を取得するたびにカスタム解析関数をコーディングするよりも迅速に作成できるものが必要です。

皆さん、

64ビットOSでSQLServer2005 SSISを使用して、中規模のデータウェアハウスをロードするETLプロセスを構築しています。SSISのチェックサムパッケージを使用してSCD（緩やかに変化するディメンション）を管理することを計画しています。

SSISチェックサムパッケージを使用して概念実証を行っていますが、実際の本番シナリオで使用するのは快適ではありません。64ビットOSには向いていないと聞きました。また、SSIS製品はすぐに使用できるものではないため、そのパッケージをインストールするのは面倒です。

君たちはどう思う？古い学校のT-SQLチェックサムを使用する必要がありますか、それともそのパッケージを試してみる必要がありますか？大量のETLプロセスで使用した経験はありますか？

私の会社では、ETL プロセスの手段として Web サービスを使用することを検討しています。ただし、いくつかの理由から、Web サービスはこの目的に適合しないと思います。1. Web サービスは、大きな xml を生成するときに大量のメモリを消費する可能性があります。2. xml は肥大化した形式です。3. サーバーがデータを生成するのに膨大な時間がかかる場合、タイムアウトになる可能性があります。 4. ファイル サイズの制限はありますか? （Windowsの場合、私の記憶が正しければ2Gbです）

私はウェブサービスの専門家ではないので、あなたの意見が必要です。:)

ありがとう。

過去に、ETL (Extraction Transformation Loading) に Informatica を使用したことがありますが、かなり遅いことがわかり、通常は PL/SQL スクリプトに置き換えました (当時は Oracle を使用していました)。

（回答のフィードバックに基づいて修正された質問）

DTS は、SSIS より前の Microsoft の ETL ツールだったと思います。

1. DTS を使用している既存のアプリケーションを SSIS に変換するのは難しいでしょうか?
2. SSIS が Microsoft ツールであり、SQL Server (事実上その一部) と緊密に統合されていることを考えると、それを使用することに欠点はありますか? ETLに関しては、SSISなしでできることは何でもSSISでできると思うので、効率の問題は見当たりません。