問題タブ [data-integration]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
pentaho - Pentaho データと REST の統合
un/pwd 認証を使用して、SSL 経由で REST API に接続しようとしています。URL を参照できますが、ジョブを実行しても何も起こりません。基本的に、サーバーに接続してデータをxmlファイルに出力したいだけです。
前もって感謝します
仕事:
ログ:
2011/07/28 15:42:10 - 変換メタデータ - 接続がありません... 2011/07/28 15:42:10 - 変換メタデータ - 2 つのステップを読み込んでいます... 2011/07/28 15:42: 10 - 変換メタデータ - ステップ #0 を見る 2011/07/28 15:42:10 - 変換メタデータ - ステップ #1 を見る 2011/07/28 15:42:10 - 変換メタデータ - 1 ホップ... 2011/07/28 15:42:10 - 変換メタデータ - ホップを見る
0 2011/07/28 15:42:10 - 変換メタデータ - 読み取りステップ数:
2 2011/07/28 15:42:10 - 変換メタデータ - 読み取られたホップ数: 1 2011/07/28 15:42:10 - スプーン - 変換が開かれました。2011/07/28 15:42:10 - スプーン - 変換を開始 [テスト]... 2011/07/28 15:42:10 - スプーン - 変換の実行を開始しました。2011/07/28 15:42:10 - テスト - 変換のためのディスパッチ開始 [テスト] 2011/07/28 15:42:10 - テスト - 検出された引数の数:0 2011/07/28 15:42:10 -テスト - これはリプレイ変換ではありません 2011/07/28 15:42:10 - 変換メタデータ - {0} ミリ秒で実行されたステップの自然な並べ替え (計算された前のステップの {1} 時間) 2011/07/28 15:42: 10 - テスト - 起動する 2 つの異なる手順を見つけました。2011/07/28 15:42:10 - テスト - 行セットを割り当てています... 2011/07/28 15:42:10 - テスト - ステップ 0 の行セットを割り当てています --> REST クライアント 2011/07/28 15:42: 10 - テスト - prevcopys = 1、
2011/07/28 15:42:10 - テスト - ステップと StepData を割り当てています... 2011/07/28 15:42:10 - テスト - 変換は、タイプ [Rest] のステップ [REST クライアント] を割り当てようとしています 2011/ 07/28 15:42:10 - テスト - ステップには nrcopies=1 があります 2011/07/28 15:42:10 - REST Client.0 - ディストリビューションがアクティブ化されました 2011/07/28 15:42:10 - REST Client.0 -バッファと新しいスレッドの割り当てを開始しています... 2011/07/28 15:42:10 - REST Client.0 - ステップ情報: nrinput=0 nroutput=1 2011/07/28 15:42:10 - REST Client.0 - 出力関係。is 1:1 2011/07/28 15:42:10 - REST Client.0 - 検出された出力行セット [REST Client.0 - XML Output.0] 2011/07/28 15:42:10 - REST Client.0 -ディスパッチを終了しました 2011/07/28 15:42:10 - テスト - 変換は新しいステップを割り当てました: [REST Client].0 2011/07/28 15:42:0/1。2011/07/28 15:42:10 - XML Output.0 - スレーブ サーバーで実行中
0/1。2011/07/28 15:42:10 - XML Output.0 - 出力ストリームを開く
encoding: UTF-8 2011/07/28 15:42:10 - テスト - ステップ [REST Client.0] は問題なく初期化されました。2011/07/28 15:42:10 - テスト - ステップ [XML Output.0] は問題なく初期化されました。2011/07/28 15:42:10 - テスト - 変換により 2 つのスレッドと 1 つの行セットが割り当てられました。2011/07/28 15:42:10 - REST Client.0 - 実行を開始しています... 2011/07/28 15:42:10 - REST Client.0 - 1 つの出力行セットに「出力完了」を通知します。2011/07/28 15:42:10 - XML Output.0 - 実行を開始しています... 2011/07/28 15:42:10 - REST Client.0 - 処理が完了しました (I=0、O=0、R =0、W=0、U=0、E=0) 2011/07/28 15:42:10 - XML Output.0 - 0 出力行セットへの「出力完了」のシグナリング。2011/07/28 15:42:10 - XML Output.0 - 処理終了 (I=0, O=0, R=0, W=0, U=0, E=0) 2011/07/28 15: 42:10 - スプーン - 変身完了!!
sas - SAS データ統合: SAP テーブル抽出エラー
これはエラーコードです:
エラーログ :
なぜこれが起こるのですか?抽出しようとしたテーブルは CDPOS と呼ばれます。他のSAPテーブルにエラーはありません
data-integration - 適切なツールの選択
私は次の必要があります:
1) ユーザーは「アップロード」フォルダに .xls または .csv ファイルをアップロードします。2)「アップロード」フォルダーは常に監視する必要があり、新しいファイルが追加されるたびに、ジョブを開始する必要があります。3) ジョブは .xls または .csv ファイルからのデータを処理して DB テーブル構造に適合させ、このデータを DB テーブルに書き込みます。
これは自動化されたプロセスである必要があり、オールインワンのソリューション ツールを探しています。
pentaho - ペンタホステップを順番に実行することはできますか?
たとえば、10ステップで構成されるペンタホ変換があります。N個の入力パラメーターに対してこのジョブを開始したいのですが、並行してではありません。各ジョブの評価は、前の変換が完全に完了した後に開始する必要があります(プロセスはトランザクションで実行され、コミットまたはロールバックされます)。Pentahoで可能ですか?
copy - Pentaho Data Integration を使用してテーブル間で列をコピーする方法
これは簡単な作業だと思っていましたが、私は PDI に慣れていないため、次のことを達成するためにどの変換を選択すればよいか、これまでのところわかりませんでした。
Pentaho Data Integration (以前の Kettle)、Community Edition を使用して、あるデータベース 'A' の 1 つのテーブル ('tasksA') から別のデータベース B の別のテーブル 'tasksB' に値をマップ/コピーしています。taskA には列 'descriptionこれらの値を「tasksB」の列「taskName」にコピーしたいと考えています。さらに、「説明」の各値を数回コピーする必要があります。「タスク B」では、「タスク名」の値ごとに複数の行があるためです。
これはダイレクト SQL によって可能になるかもしれませんが、特に次のステップで関係する他のテーブルに拡張する必要があるため、これを PDI でより読みやすく定義できるかどうかを試してみたかったのです。
したがって、「description」のどの値を「taskName」のどの値にマッピングする必要があるか、また、この値を含むすべてのタプル (まあ、WHERE 句のように聞こえます...) で「taskName」列にマッピングする必要があることを伝える必要があります。交換されます。
「テーブル入力」ステップと「テーブル出力」ステップでの最初の実験は、それらの間にホップを描き、「テーブル出力」ステップの「データベース フィールド」タブを変更しただけでは機能しませんでした。私が望むものではない結果のSQL。スキーマを変更したくありません。値をコピーするだけです。
誰かが必要な正しい手順/変換を教えてくれたら素晴らしいと思います.Pentaho Wikiの最初の例を調べて、Castersらの「Pentaho Kettle Solutions」の本を手に入れました. しかし、これを解決する方法を見つけることができました。助けてくれてありがとう。
data-integration - データ統合
私はビューとしてグローバルおよびビューとしてローカルのデータ統合方法を見てきましたが、これらのクエリがどのように形成されるかの例を見つけることができません。GAVを使用してこれらのデータ統合方法をクエリする方法の例を教えてもらえますか? LAVお願いします
ここでGAVとLAVについて具体的に質問しています
GAV(ビューとしてのグローバル)はデータソース上で記述され、LAV(ビューとしてのローカル)は仲介されたスキーマ上で記述されることを私は知っています。ただし、これらの用語の意味や、生成されるクエリにどのように影響するかは完全にはわかりません。
There is a wikipedia page for GAV, with no example of a query, and there isn't a wikipedia page for LAV sadly
filepath - Pentahoデータ統合トランスフォーメーション、Internal.Transformation.Filename.Directoryが設定されていません
Internal.Transformation.Filename.Directory
組み込み変数を使用しようとしています。例として、PentahoDataIntegrationが提供する簡単なサンプルを取り上げますCSV Input - Reading customer data with error logging.ktr
。
変数対応フィールドのCTRL+SPACEの後のツールチップは次のとおりです。
ただし、サンプルとまったく同じように、変数に値がありません。
アイデアはありますか?Pentahoフォーラムを簡単にチェックしましたが、私が見つけた唯一の関連する問題は私の質問に答えていないようです。
UbuntuとPDIバージョン4.2.1を使用しています。
前もって感謝します。
etl - SiebelデータベースからDatファイルおよびステージングテーブルへのデータの抽出
私は新しい要件に取り組んでおり、これに慣れていません。だからあなたの助けを求めています。要件-Siebelベーステーブル(S_ORG_EXT、S_CONTACT、S_PROD_INT)からデータをエクスポートし、2つのステージングテーブル(S1とS2)に配置する必要があり、これらのステージングテーブルから、行数も含むパイプ区切りのdatファイルを作成する必要があります。ステージングテーブルS1の場合は、関連付けられた連絡先のアカウントが必要であり、S2の場合は、関連付けられた連絡先と製品のアカウントが必要です。
これについてはどうすればよいですか。Informaticaジョブを直接使用してSiebelベーステーブルからデータをプルする必要がある場合、またはEIMエクスポートジョブを実行してEIMテーブル内のデータを取得し、そこからステージングテーブルに移動する必要がある場合。
どちらに行けばいいのか教えてください。
database-design - データを相互参照する際の「あいまい検索」の使用
私の部門は、データマイニング/企業ダッシュボードで使用するために、企業内のさまざまなソースからのデータの収集と表示を処理します。
私たちが抱える大きな課題の1つは、さまざまな部門間で場所の名前を相互参照することです。私たちはかなり大規模な組織であり、さまざまな関心を持つ部門が1つの場所について独自のレポートを作成します。一般に、場所の名前がこれらの部門全体のレポートで持つ正確な名前には、多くの不一致があります。たとえば、場所は次のように呼ばれる場合があります。
- 素晴らしいレストラン
- 素晴らしいレストラン
- 素晴らしいF&B
- 場所がいくつかの改修を経るとき...素晴らしいカフェ '
- またはProfitCenter12345ABC
だから私の質問は、私たち自身のデータベースとコードでこれらの名前を調整する際にどのようなベストプラクティスが存在するのかということです。今のところ、私の部門には、共通の階層標準(最適なソリューション)の下で組織を統合する機能がないと仮定しましょう。現在のところ、私たちの慣習は、場所名の増え続ける参照テーブルを維持することです。これらの参照テーブルは、その後、独自の命名基準に参照されます。これにより、データとの履歴の一貫性を維持できます。
場所を相互参照するときに、ある種の「あいまい検索」を実装することは実行可能/推奨されますか?たとえば、「the」などの単語のインスタンスを無視したり、「cafe」と「restaurant」を同等に扱ったりするもの(事前に定義されたロジックに基づく)。
私は確かに、私たちが遭遇するランダムな命名規則のすべてをアルゴリズムで説明できるとは思いませんが、それらの一部/ほとんどを説明できるのに十分ですか?
json - JSON 入力ステップを使用して不均等なデータを処理する
JSON入力ステップで次を処理しようとしています:
ただし、これは不可能のようです:
このステップではIgnore Missing Pathフラグが提供されますが、すべての行で同じパスが見つからない場合にのみ機能します。その場合、そのステップは期待どおりに機能し、欠損値を null で埋めます。
これは、私の優先事項の 1 つであった不均等なデータを読み取るこのステップの能力を制限します。
私のステップ フィールドは次のように定義されています。
何か不足していますか?これは正しい動作ですか?