問題タブ [rhino-etl]

プロジェクトで初めて rhino ETL を使用していますが、その機能に非常に感銘を受けています。結合操作を使用して 2 つのデータソースを照合します。

データが欠落している場合があるため、LeftOrphanRow をオーバーライドしてエラーを「ログに記録」します。したがって、私は例外をスローし、プロセスの最後に GetAllErrors() を使用して発生したすべての例外を収集します。

しかし、最初の例外でプロセスが中止されているようです。それは意図的にですか？OrphanRows を処理する最善の方法は何でしょうか (特に、プロセスの最後にすべての操作のすべての孤立した行の概要が必要な場合)?

最初にいくつかの背景。私たちはデータ ウェアハウスを開発しており、ETL プロセスに使用するツールについて調査を行っています。チームは非常に開発者中心で、全員が C# に精通しています。これまで、RhinoETL、Pentaho (ケトル)、Astrix Centerprise を見てきました。SSIS は、この質問の範囲外の多くの理由で提供されていません。

現時点では、RhinoETL のようなより開発者向けのものに傾倒しています。これは、開発者グループにとって最も抵抗の少ない方法のように思われるからです。RhinoETL にはない、他のより視覚的なデザイナー指向の製品は何かをテーブルにもたらしますか? これらの ETL ツールを評価する際に特に注意すべき点はありますか? 他にも調査すべきツールはありますか?

SSISやRhino-ETL（非常に優れたライブラリ、ところで）などの外部ライブラリに依存しないC＃の単純なデータフローの例を探しています。

要件：

• 1つの任意のADO.Netデータソース
• 1つの任意のADO.Netデータ宛先
• データセット全体を一度にメモリにロードする必要がないため、任意の大きなデータセットを処理できます。ある種のバッファに依存する必要があります。そうしないと、RhinoETLが利用するような「yieldreturn」が利用されます。
• 一括挿入を使用します（つまり、SqlBulkCopy）
• 最小限の変換。ルックアップもマージ結合もありません。
• シングルスレッドで作業できる場合は、マルチスレッドは必要ありません。

質問を述べる別の方法...RhinoETLはこれをどのように実行しますが、すべての抽象化と継承されたクラスがなく、クォーク辞書がありませんか？単純な非抽象クラスで見たいと思います。

そして、質問のさらに別の言い換え：「選択」クエリのデータフロー出力を取得し、結果全体をにロードせずに、一度に10,000または50,000レコードで宛先に一括挿入する基本的な例を探していますメモリ。使用可能なRAMを超える可能性があります。

次のRhinoETLプロセスがありますが、サイレントに失敗します。プロセスは問題なく実行されますが、DBへのラウンドトリップは行われず、例外はスローされず、データは挿入されません。

確かに、ここで明らかな何かが欠けています。サンプルのRhinoETLベースのアプリをSQLサーバーと通信させようとしています。それはそれをしません。私はポール・バリエールによるビデオチュートリアルに従っています。

}

2つのファイルのデータをマージして、3番目のテキストファイルに書き込むことができます。しかし、マージされたレコードを取得してSQLテーブルに入れることはできません。何が足りないの？私のApp.Configには正しい接続文字列設定があります。

ありがとう

行フィールド値の値を確認し、値に応じて特定の操作を実行したいと考えています。これはできますか？コードの一部は以下のとおりです

MDXを使用してSSASデータベースにクエリを実行し、これをRhino ETLのデータソースとして使用することは可能ですか？ここでは、SSASインスタンスへのOLEDB接続の作成について説明しています。

ありがとう！

パイプで区切られた大きなファイルをロードする必要があります。これらを Rhino ETL (FileHelpers に依存) を使用して SQL Server DB にロードする場合、レコード クラスを提供することは必須ですか? 数十の列を持つさまざまなテーブルにファイルをロードする必要があります。それらを生成するのに丸一日かかる場合があります。SQL Server テーブルからレコード クラスを生成する小さなツールを作成できると思います。

もう 1 つの方法は、FileStream の IDataReader ラッパーを作成し、それを SqlBulkCopy に渡すことです。

SqlBulkCopy も列マッピングを必要としますが、列の序数を許可します - それは簡単です。

アイデア/提案はありますか？

ありがとう。

アプリケーションに Rhino ETL ツールを統合することにしました。

私のアプリケーションでは、SQL Server、Oracle、mysql、sybase、Informix、db2、ingress などのさまざまなデータベースを使用しています。

Rhino はこれらのデータベースをサポートしますか? また、どのデータベースをサポートしますか?

また、ienumerable<行>をデータテーブルに移行できますか?

可能であれば、どのように？私は一般的な方法を探しています。

Rhino ETL ツールの統合についてご指導いただきありがとうございます。

同じデータ スキーマを持つ複数のシートを含む Excel ブックがあります。単一のシートからデータをロードするための作業実装があります。

JoinOperation またはそのような操作を使用して、同様のレコード (スキーマ) を単一のセット (行) にマージする方法はありますか?

私の理解では、MergeRows の戻り値の型が Row であるため、JoinOperation は左結合、右結合、外部結合、および内部結合に使用できますが、ユニオンには使用できません。

前もって感謝します。