問題タブ [cloveretl]

CloverETL for ETL プロセスで ETL Graph に値を渡そうとしましたが、値を Clover ETL for Graph で動的に渡す必要があります。値を動的に渡す方法を誰かが言うことができますか??

前もって感謝します...

CloverEtl でサーバー プロジェクトをバージョン管理する方法を知っている人はいますか? subclipse と SVN を使用してみました。これは、ローカル プロジェクトで機能します。しかし、サーバーサンドボックスはできません。プロジェクトはローカルに保存されていないか、ワークスペースに保存されていませんが、サーバーで作業しているため、ローカルに保存する必要があります。

これに関するヘルプは大歓迎です。

CloudConnect プロセス内で未加工のレポート結果を抽出したいと考えています。

これまでのところ、生のレポート API エンドポイントから応答を得ることができました -https://secure.gooddata.com/gdc/app/projects/{project_id}/execute/raw/

この応答にはファイルへの URI が含まれており、その URI をブラウザーに入力すると、ファイルがアップロードされます。

この URI を次のリーダーに渡そうとしましたが、成功しませんでした:

• CSV リーダーで次のエラーが発生します。

------------------- エラーの詳細 ------------------

コンポーネント [CSV リーダー:CSV_READER] はステータス ERROR で終了しました。
解析エラー: レコード 1、フィールド 1 ("date")、メタデータ "outOfStock" に予期しないファイルの終わりがあります。値: 生のレコード データは利用できません。冗長モードをオンにしてください。

• ファイルのダウンロード- ポートを介して URI を「URL to Downlaod」パラメータに渡す方法がわかりません。
• HTTP コネクタポートから URI を渡す方法がわかりません。

これを行う方法は何ですか？

編集

@Filip の提案に従ってHTTP コネクタを使用すると、次のエラーが発生します。

エラーの詳細:
コンポーネント [HTTP コネクタ:HTTP_CONNECTOR] はステータス ERROR で終了しました。証明書のホスト名が一致しませんでした: xxx.com != secure.gooddata.com または secure.gooddata.com

ヘッダーを に設定しようとしましたX-GDC-CHECK-DOMAIN: falseが、効果はありません。

正式なトレーニングを受けていない CloverETL を初めて使用することから始めます。

Apple の iTunes Connect Reporter Java ツールを呼び出してレポートのステータスを取得し、ダウンロードの準備ができているかどうかを知らせるコマンドで ExecuteScript コンポーネントを実行するジョブがあります。Java ツールのメッセージは XML であり、UniversalDataWriter を使用してそれを XML ファイルに書き込んでいます。ジョブの最後のコンポーネントは、別のジョブフローを開始します。

次のジョブフローは、ファイルから XML をマップし、XML のメッセージ部分を Condition コンポーネントに送信してファイルの準備ができているかどうかを調べ、準備ができている場合はファイルをダウンロードするように条件を分割する XMLExtract コンポーネントから始まります。 、またはスリープ状態にして Java ツールを呼び出して、準備ができていない場合は、しばらくしてからステータスを再度取得します。

準備完了ステータスの XML は次のようになります。

使用不可ステータスの XML は次のようになります。

出力は動的であり、どちらの出力も処理できるようにメタデータをフォーマットする方法がわかりません。私にとって重要なのは、XML のメッセージ部分だけです。

CloverETL ツールを使用して、100,000 行を超える大きな csv ファイルを読み取り、DB テーブルに挿入する前に DB からいくつかのルックアップ値を変換しています。

基本的に私は使用しました：

1. ファイルを読み取るためのフラット ファイル リーダー
2. DB からいくつかの値を変換するための「ルックアップ結合」の数が続きます
3. 次に、すべてのデータをリンクする「ExtHashJoin」 (ソースがソートされていないため)
4. 次に、レコードを DB に挿入します。

非常に単純なプロセスであり、少数のレコードに対しては正常に機能します。しかし、ファイル全体をインポートしようとすると、単にメモリが不足しました (メモリ割り当てを増やしても効果はありません)。

ExtHashJoin は、すべてのレコードを結合してから挿入を開始するまで待機しようとしていることがわかりました。すべてのレコードをメモリに保存する必要があるため、それが問題のようです。私は本当にその振る舞いを必要としません。これらのレコードはすべて独立しており、たとえば一度に 1000 行ごとにバッチで処理できますが、このようにする方法がわかりません。

また、さまざまなフェーズ値を設定しようとしましたが、最初のレコードの挿入を開始する前にすべての値を結合しようとします。

レコードを分割してバッチで処理するようにフラット ファイル リーダーに指示するにはどうすればよいですか?

ありがとう。

エリック