3

ETLの作成にはCascadingフレームワークを使用しています。

カスケードは与えます。

  1. 最適化された結合
  2. 並列実行ジョブ
  3. チェックポイントの作成
  4. 開発者は自分の好きな言語 (java、ruby、scala、clojure) で作業できます。
  5. 単体テスト。

現在、一部の X ETL (コストがかかる) ジョブを Hadoop ジョブに変換する 2 つのオプションがあります。

  1. ワークフローのカスケード。
  2. タレントの仕事。

私の質問はです。

  1. Talend は、ジョブを作成するためのコンポーネントとして豚、ハイブなどを使用します。では、パフォーマンスに何らかの利点があるのでしょうか、それとも talend は即興演奏を行っているのでしょうか?
  2. Talend に関する限り、単体テスト (Cascading フレームワークが提供するもの) について心配する必要はありますか?
  3. ジョブの作成 (X ETL から Hadoop ジョブへの変換) にカスケードではなく Talend を選択した場合、それは適切なオプションでしょうか。

  4. X ETL をカスケード ワークフローに変換するには、指定された X ETL で使用可能なすべてのコンポーネントを作成する必要がありますが、1 回限りの作業になります。次に、Talend Studio が提供する次のような他の機能についても考える必要があります。

    a. Data quality.
b. Data Profiling.
c. Data lineage, etc.
  5. 保守性に関する限り、カスケーディング ジョブはかなり適切に管理されています。だれでも talend に関する情報を提供できます。

要するに、私は X ETL から Hadoop ジョブへの変換ツールを作成しています。また、Cascading フレームワークまたは Talend から選択する必要があります。

4

1 に答える 1

0

すべての質問にお答えすることはできませんが、経験に基づいた回答を提供できます。コンポーネントが最適化され、ジョブのIDEが非常に明確であるため、Talendの開発はFrom warkやネイティブ言語よりも生産性が高く、ソースの保守が最も簡単です。デバッグ機能は優れており、ステップバイステップのデバッグを実行でき、ソースを生成できます。

私にとって不便なのは構成管理です.Talendは多くのブランチでうまく機能していません.

于 2013-07-17T07:39:47.343 に答える