問題タブ [data-integration]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
1353 参照

pentaho - Pentaho データ統合 (PDI) で固定ファイル入力列定義を動的に設定できますか?

列名、開始位置、および長さを含むメタデータ ファイルがあります。これらの値を読み取り、FIXED FILE INPUT ステップ内で列を定義したいと考えています。

PDIでこれを行う方法はありますか? 私のファイルには固定幅の 200 を超える列が含まれており、手動で情報を入力すると、特にこの定義が時間の経過とともに変化する場合、非常に時間がかかります。

0 投票する
1 に答える
4332 参照

sas - SAS 取得テーブルの主キー

私は SAS 4GL の初心者です...

主キーまたは複合主キーの一部である列をテーブルから抽出することは可能ですか? それらの値を出力データセットの 1 つの列にマージする必要があります。

問題は、入力としてさまざまなテーブルを取得でき、それらの定義がわからないことです。

0 投票する
4 に答える
8272 参照

pentaho - Pentaho Data Integration (Kettle) で 2 つのファイルをマージするにはどうすればよいですか

Pentaho Data Integration (Kettle) を使用していますが、質問があります。

2 つの入力ファイルがfile1.txtありfile2.txt、ヘッダーは同じです。

  • file1.txt

    /li>
  • file2.txt

    /li>

両方のファイルを1つにマージしたいのですが、files_together.txt

私はすべてを試しました(私は思う)が、それを行う方法がわかりません。私はグーグル、ユーチューブで検索してきました... 一致するものはありません。

どうもありがとうございました。

0 投票する
1 に答える
5421 参照

pentaho - Pentaho Data Integration (Kettle) でファイルに行番号を追加するには?

names.txtこのデータを含むファイルがあります:

N行の行番号を含む新しい列を追加したい:

私は探していましたが、私が見つけたのは に関連するものでしたAdd sequence。やってみたけどやり方がわからない。

どうもありがとうございました。

0 投票する
2 に答える
1869 参照

pentaho - PDI Kettle/Spoon Table と外部キーの照合

ID と Source(varchar) を持つソース テーブルがあります。

Source(varchar) と Views(Int) を持つ受信データがあります

ケトルジョブでこれを行いたい:

  1. ソースがソース テーブルに存在するかどうかを確認し、存在する場合は、sourceID という名前の INT 型のフィールドをソースからのそれぞれの ID に置き換えて追加します。
  2. 存在しない場合は、ソース テーブルに追加します。

たとえば、上記のデータから、結果は次のようになります

これを達成するための適切な手順を見つけるのに苦労しています

0 投票する
1 に答える
2403 参照

pentaho - pentaho スプーン/ケトル マージ 行 diff ステップ

古いデータベースに基づいて新しいデータベースのテーブルを更新したい

これは古いテーブルのデータです。

ID、タイプ 1、bla 2、bla bla

新しいテーブルは空です。現在、2 つのステップを 1 つのinput tableステップに接続してから、merge rows diffそれを 1 つのステップに注ぎ込みsync after mergeます。

deleted問題は、比較ストリームで値が見つからないため、flagfield が設定されていることです (当然、空のテーブルです!)。私の論理は間違っていますか、それとも次のように機能しないはずです:

比較ストリームに見つかりません --> フラグを設定needs insert--> 比較テーブルに挿入 ??

どうすればいいですか?

0 投票する
2 に答える
1165 参照

pentaho - Pentaho Kettle (データ統合) ジョブ/変換の設計方法 サーバーで実行されるのはどれですか?

ペンタホケトル(データ統合)は初めてです。ここで使用するバージョンは、コミュニティ エディション バージョン 5.0 です。たとえば、リモート サーバー内にあるファイル (大きなファイル) を必要とするジョブと変換を設計したいと考えています。このサーバーには ftps でアクセスできます。また、ワークステーション リソースの制限により、ジョブ/変換はサーバー上で実行することをお勧めします。

サーバー上で実行されるジョブ/変換を設計する方法を誰か教えてもらえますか? ただし、上記の方法でプロセスを実行できない場合、他の ETL ツールで実行できる方法はありますか? どんなアドバイスも私にとって良いでしょう:)助けてくれてありがとう!

0 投票する
1 に答える
245 参照

oracle - 多くのスキーマ変更を伴う Oracle データの移行

スキーマの変更が多い 11g から 12c に Oracle データを移行する必要があります。すべてのスキーマ変更を説明する Excel シートがあります。Excel シートには、「old_table_name」、「old_column_name」、「old_value」の列があり、新しいテーブルにも同じ列があります。一部の値は新しいテーブルに直接コピーできますが、一部の値はその方法ではコピーできません。

たとえば、古い列の値を新しいテーブルに移動するときに変換する必要があります。一部の変換は複雑であり、単純にマッピングすることはできません。これらは、古いデータベースの他のテーブルと結合して変換する必要があります。このためにTalend Open Studio Data Integrationツールを試していましたが、私の場合、そのツールを先に進めるのは少し複雑であることがわかりました. Talendまたはその他のツールを使用してこれを実現するアイデアを持っている人はいますか? このような移行を行う際の理想的なアプローチは何ですか? 以下に、単純な変換のみを含む Excel シートのサンプルを含めました。

ここに画像の説明を入力

0 投票する
3 に答える
1281 参照

web-services - レガシー システムの統合を行う場合、Web サービスに代わるものはありますか?

私がこのケースを持っているとしましょう:

一般的に Web サービス (XML ソープまたは RESTful API) に接続できない従来のVisual Basic 6アプリケーションであり、何らかの方法で統合する必要があるクライアント アプリケーションとして機能し、実際にはフォーム入力から得られたデータであり、ほとんどが開発された他のシステムと統合する必要があります。 .netで

これまでのところ、私が考えたことは次のとおりです。

  • ソケット接続
  • FTP 経由でファイルを転送する (他のシステムへの情報を読み取って解析するためのアダプターを実装する)
  • メール送信 (クライアント) / 解析 (サーバー) - これは信頼できません

このシナリオの他のオプションはありますか?