問題タブ [pdi]

Java アプリからの mongodb 入力ステップを含む変換を実行しようとしていますが、常に次のメッセージでエラーが発生します。

このスレッドから関連する回答をいくつか見つけました: Angry org.pentaho.di.core.exception.KettleMissingPluginsException in Step : JmsOutput Why?

これは、アプリケーション フォルダーのルート パスにプラグインを移動することです。

私は引数を渡そうとしました:

このスレッドで提案されているとおり: Pentaho MongoDBInput Java integration ですが、それでも私の問題は解決しませんでした

念のため、kitchen.sh コマンドで kjb ファイルの実行を確認しましたが、問題なく正常に実行されていました。

どの部分が間違っていたかを教えてくれる人はいますか? ありがとう

私たちは現在、Spoon ジョブを開始するたびにデータベース スキーマが変更されたかどうかを確認する必要があるプロジェクトに取り組んでいます。これは、オリジンがサード パーティのデータベースであり、ほとんどまたはまったく制御できないためです。

最も明白な解決策は、apgdiffなどのツールを呼び出すスクリプトを作成し、スキーマを以前に生成されたスキーマ ファイルと比較することです。変更があった場合は、通知を送信します。

問題は基本的に次のとおりです。これはこれを達成するための最良の方法ですか?

どんな助けでも大歓迎です。

御時間ありがとうございます。

PS: Stackoverflow がこの種の質問に最適な場所であるかどうかはわかりません。そうでない場合は、お気軽に興味深いフォーラムを提案してください。

Analytik Query ステップを使用して、前の行の計算フィールドにアクセスしようとしました。行はすべて並行して計算され、前の行のフィールドにアクセスすると、処理中の現在の値が得られることがわかります。これは一種のランダムです。前の行のフィールドの最終値を取得することはできないようです。または、Analytik Query ステップ以外に方法はありますか? 必要なのは「前の行が完了するのを待つ」チェックボックスだけだと思います...

これが必要な理由: 時間依存データを処理し、状態認識を行っています。現在状態 A にいるときは、状態 B にいるときにデータを使って他のことを行います。そのため、前のデータ行の状態を知る必要があります (これは、変換の終了前ではなく決定されます)。

エクセルなら簡単にできますので、PDI にも何か方法があるのではないでしょうか。:-)

助けてくれてありがとう！

Windows 10 (Education バージョン) の新しいコピーをインストールしましたが、Pentaho PDI (バージョン 5.4) を実行すると、2 つのステップを接続できないことがわかりました。通常、アド ホップを選択できるダイアログ ウィンドウが開きますが、何も選択できません。

Java の JRE および JDK バージョンをインストールしました。Javaを使用する他のアプリケーションでは何もないという他の問題はありません。

作業面に 2 つのステップを配置してから変換を実行しようとすると、今晩発見しましたが、あなたのように失敗しますが、これらの 2 つのステップを接続できるようになりました。別のステップを追加すると、スクリプトを実行するまで接続できません。変。

この問題にアプローチする方法について誰かアイデアがありますか?

どうもありがとうレイ

テーブル入力とpgbulkloaderの2つだけを出力として使用している仕事があります。 ジョブの実行中に、データの行をpsql コマンドにシリアル化するときにエラーが常にスローされます。

エラーメッセージ ：

10 を超えるテーブルに対してデータ マスキングを実行し、各テーブルには 100 を超える列があります。

pentaho PDI ツールを使用してデータをマスクしようとしましたが、マスク データをどのように記述すればよいかわかりませんでした。

Pentaho でデータ マスキングを実行するにはどうすればよいですか? 「文字列置換」というツールを使うのも一つの方法だと思いますが、使ってみても文字列を変更することができませんでした。

私の質問は、

1. データマスキングを行うために「文字列で置換」を使用するのは正しい方法ですか。
2. 正しい場合、それぞれのフィールドにどのように値を入力すればよいですか?

一部の値を * に置き換えたいとします。たとえば、値は「これはサンプル値です」であり、「txxx xx xxxxx xxxxe」のようなものである必要があります。

助けてください。

Java 内から変換を実行するPDI 5.4.0.1-130バージョンを使用しています。

私の問題は、時々統合テストがこの例外をスローしていることです...

どんなアドバイスも大歓迎です

Java からデータベース (任意のデータベースですが、noSQL の方が望ましい) を含む PDI 変換を実行しようとしています。

mongodb と cassandradb を使用してみましたが、プラグインが見つかりませんでした。すでにここで質問しました: Running PDI Kettle on Java - Mongodb Step Missing Pluginsですが、まだ誰も返信していません。

私もPostgreSQLを使ってSQL DBに切り替えてみましたが、それでもうまくいきません。私が行った調査から、Java からデータベースを完全に接続しなかったためだと思いますが、自分に合ったチュートリアルや指示が見つかりませんでした。このブログの指示に従ってみました: http: //ameethpaatil.blogspot.co.id/2010/11/pentaho-data-integration-java-maven.html :しかし、まだリポジトリに関する問題がいくつかあります( t があり、必須のようです)。

スプーンから実行すると、変換は問題ありません。Javaから実行したときにのみ失敗しました。

データベースを含む PDI 変換を実行する方法を教えてくれる人はいますか? どこで私は間違えましたか？

noSQL と SQL データベースのいずれかを使用して PDI 変換を実行することに成功した人はいますか? どのDBを使用しましたか？

あまりにも多くの質問をして申し訳ありません、私はとても必死です。どんな種類の情報でも大歓迎です。ありがとうございました。

私のソースは以下に示すように異なる日付形式を持っています。また、Pentaho Data で試行されたソースの日付パターンを特定するためのアルゴリズムを探しています。

日付列 (文字列)
"20150210"
"20050822--"
"2014-02-May"
"20051509--"
"02-May-2014"
"2013-May-12"
"12DEC2013"
"15050815"
"May-02- 2014"
"12312015"

PDI では、パターンごとに If 条件を記述することで JS ステップを介して達成できることはわかっていますが、これは良い考えではありません。このアプローチでは、巨大なレコードを処理するときに変換が死んでしまい、日付パターンを検索する効率的な方法を探します。

これは、すべての ETL プロジェクトで非常に一般的な問題だと思います。ここでは、SAS Data Integration、Informatica、SSIS などのエンタープライズ ベンダーがどのように簡単に処理できるかを理解しようとしています。

ソースパターンを識別するアルゴリズムはありますか。もしそうなら、どれですか？

上記の形式は限定されません。