問題タブ [kiba-etl]

CSV から宛先 CSV へのソースを持つ Kiba Etl スクリプトを作成したい

Kiba ETL スクリプト ファイル

ユーザー.csv

result.csv (期待される結果)

etl トランスフォーマーは一度に 1 つの行で次々に実行されますが、2 番目のトランスフォーマーの動作は、transform メソッドに渡されるクラスでアクセスできない行のコレクション全体に依存します。

kiba gemを使用してこの動作を実現できるものはありますか
? よろしくお願いします

kiba-etl gem を使用して行が無効であると判断した場合、特定の行の読み込みをスキップする方法はありますか?

たとえば、システムにロードする前に検証に合格する必要がある場合や、エラーが発生した場合でも、問題のログに関係なくデータを sys にプッシュする必要があります。

変数によって、さまざまなソースで実行される ETL を構築しています。

ジョブを実行するにはどうすればよいですか (rake タスク)

my のパラメーターを渡して、etl_fileそのソースに使用しますか?

source MySourceClass(variable_from_rake_task)

最近、リモート サービスからデータを取得し、ローカル モデルに合わせて変更してから保存するように、最初の "etl" フローをセットアップしました。読み終わった今、いくつかの理由でかなりグロテスクに感じます

mysourceはリモート サービスからの JSON です

myは、オリジナルに基づいて、それぞれを新しく定義された localにtransform置き換えますrowmodelsource row

transformまた、さまざまな値を見て、追加のローカル関係を定義します

destination次に、現在ORMのモデルになっている.save、新しく置き換えられたものを呼び出します。rows

1. 外部データソースに基づいてローカル レコードを作成するにはどうすればよいですか? 私のモデルはリモート ソースのようには見えません。row新しい Model オブジェクトでエントリを置き換えるのは正しいですか?
2. の値rowを自分のローカル モデルに置き換える場合、後続の各アクションをtransformその新しい行 (現在はモデル) に分割する必要があると思いますか?

全体として、私の .etl は次のようになります

DoABunchOfWork クラスにはprocess、さまざまな方法でリレーションシップを操作またはセットアップするために呼び出す約 6 つのメソッドがあります。

木場で「ルックアップ」を行うことは可能ですか。

これは、etl では非常に正常なプロセスであるためです。

はいの場合、デモを見せていただけますか。ありがとうございます。

現在、あなたの宝石を使用して、API を持たない個人データベースから Web スクレイピングされた csv を変換しています。

スクレイピングから、私はcsvになりました。私はあなたの宝石を使ってそれをかなりうまく処理することができます.1つだけ疑問に思っています

次のデータを検討してください。

これを次のように変換できます。

(私はこれを行うためにこのチュートリアルを使用しました: http://thibautbarrere.com/2015/06/25/how-to-explode-multivalued-attributes-with-kiba/ )

これには、ローダーで normalizelogic を使用しています。コードは次のようになります: source RowNormalizer, NormalizeArticles, CsvSource, 'RP00119.csv' transform AddColumnEntiteit, :entiteit, "ocmw"

私が疑問に思っているのは、変換を使用して同じことを達成できますか? コードは次のようになります。

質問は次のとおりです。変換クラスを使用して行を複製できますか?