問題タブ [data-integration]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
pentaho - Pentaho データ統合 (PDI) で固定ファイル入力列定義を動的に設定できますか?
列名、開始位置、および長さを含むメタデータ ファイルがあります。これらの値を読み取り、FIXED FILE INPUT ステップ内で列を定義したいと考えています。
PDIでこれを行う方法はありますか? 私のファイルには固定幅の 200 を超える列が含まれており、手動で情報を入力すると、特にこの定義が時間の経過とともに変化する場合、非常に時間がかかります。
sas - SAS 取得テーブルの主キー
私は SAS 4GL の初心者です...
主キーまたは複合主キーの一部である列をテーブルから抽出することは可能ですか? それらの値を出力データセットの 1 つの列にマージする必要があります。
問題は、入力としてさまざまなテーブルを取得でき、それらの定義がわからないことです。
pentaho - Pentaho Data Integration (Kettle) で 2 つのファイルをマージするにはどうすればよいですか
Pentaho Data Integration (Kettle) を使用していますが、質問があります。
2 つの入力ファイルがfile1.txt
ありfile2.txt
、ヘッダーは同じです。
/li>file1.txt
/li>file2.txt
両方のファイルを1つにマージしたいのですが、files_together.txt
私はすべてを試しました(私は思う)が、それを行う方法がわかりません。私はグーグル、ユーチューブで検索してきました... 一致するものはありません。
どうもありがとうございました。
pentaho - Pentaho Data Integration (Kettle) でファイルに行番号を追加するには?
names.txt
このデータを含むファイルがあります:
N
行の行番号を含む新しい列を追加したい:
私は探していましたが、私が見つけたのは に関連するものでしたAdd sequence
。やってみたけどやり方がわからない。
どうもありがとうございました。
pentaho - PDI Kettle/Spoon Table と外部キーの照合
ID と Source(varchar) を持つソース テーブルがあります。
Source(varchar) と Views(Int) を持つ受信データがあります
ケトルジョブでこれを行いたい:
- ソースがソース テーブルに存在するかどうかを確認し、存在する場合は、sourceID という名前の INT 型のフィールドをソースからのそれぞれの ID に置き換えて追加します。
- 存在しない場合は、ソース テーブルに追加します。
たとえば、上記のデータから、結果は次のようになります
これを達成するための適切な手順を見つけるのに苦労しています
pentaho - pentaho スプーン/ケトル マージ 行 diff ステップ
古いデータベースに基づいて新しいデータベースのテーブルを更新したい
これは古いテーブルのデータです。
ID、タイプ 1、bla 2、bla bla
新しいテーブルは空です。現在、2 つのステップを 1 つのinput table
ステップに接続してから、merge rows diff
それを 1 つのステップに注ぎ込みsync after merge
ます。
deleted
問題は、比較ストリームで値が見つからないため、flagfield が設定されていることです (当然、空のテーブルです!)。私の論理は間違っていますか、それとも次のように機能しないはずです:
比較ストリームに見つかりません --> フラグを設定needs insert
--> 比較テーブルに挿入 ??
どうすればいいですか?
pentaho - Pentaho Kettle (データ統合) ジョブ/変換の設計方法 サーバーで実行されるのはどれですか?
ペンタホケトル(データ統合)は初めてです。ここで使用するバージョンは、コミュニティ エディション バージョン 5.0 です。たとえば、リモート サーバー内にあるファイル (大きなファイル) を必要とするジョブと変換を設計したいと考えています。このサーバーには ftps でアクセスできます。また、ワークステーション リソースの制限により、ジョブ/変換はサーバー上で実行することをお勧めします。
サーバー上で実行されるジョブ/変換を設計する方法を誰か教えてもらえますか? ただし、上記の方法でプロセスを実行できない場合、他の ETL ツールで実行できる方法はありますか? どんなアドバイスも私にとって良いでしょう:)助けてくれてありがとう!
oracle - 多くのスキーマ変更を伴う Oracle データの移行
スキーマの変更が多い 11g から 12c に Oracle データを移行する必要があります。すべてのスキーマ変更を説明する Excel シートがあります。Excel シートには、「old_table_name」、「old_column_name」、「old_value」の列があり、新しいテーブルにも同じ列があります。一部の値は新しいテーブルに直接コピーできますが、一部の値はその方法ではコピーできません。
たとえば、古い列の値を新しいテーブルに移動するときに変換する必要があります。一部の変換は複雑であり、単純にマッピングすることはできません。これらは、古いデータベースの他のテーブルと結合して変換する必要があります。このためにTalend Open Studio Data Integrationツールを試していましたが、私の場合、そのツールを先に進めるのは少し複雑であることがわかりました. Talendまたはその他のツールを使用してこれを実現するアイデアを持っている人はいますか? このような移行を行う際の理想的なアプローチは何ですか? 以下に、単純な変換のみを含む Excel シートのサンプルを含めました。
web-services - レガシー システムの統合を行う場合、Web サービスに代わるものはありますか?
私がこのケースを持っているとしましょう:
一般的に Web サービス (XML ソープまたは RESTful API) に接続できない従来のVisual Basic 6アプリケーションであり、何らかの方法で統合する必要があるクライアント アプリケーションとして機能し、実際にはフォーム入力から得られたデータであり、ほとんどが開発された他のシステムと統合する必要があります。 .netで
これまでのところ、私が考えたことは次のとおりです。
- ソケット接続
- FTP 経由でファイルを転送する (他のシステムへの情報を読み取って解析するためのアダプターを実装する)
- メール送信 (クライアント) / 解析 (サーバー) - これは信頼できません
このシナリオの他のオプションはありますか?