問題タブ [kettle]

データを含むcsvファイルがあります

.

これらのデータをテーブルに入れたい:

ここでの主な問題は、新しく作成された Table1 ID を保存し、それを State テーブルに挿入するときに使用する方法です。

次の構造のデータストリームがあります

はuser_id100 から 65536 の間ですtarget_user_id。次のロジックに従って (整数) フィールドを追加したいと思います。

• user_idが 1000..9999 の範囲内にある場合、target_user_idフィールドをuser_id
• そうでない場合は、target_user_id競合を引き起こさずに 1000..9999 の範囲で何かを入力します。可能な限り低い方が望ましいです。

ストリームの長さが 9000 未満です。user_idフィールドは元のストリーム内で一意です。

Pentaho Kettle Spoonの列値でExcel出力をグループ化するにはどうすればよいですか？アイデアは次のとおりです。

テーブルがあれば

（クライアントごとにグループ化する）のようなExcel出力を受信する

助言がありますか？

接続エラー時に Pentaho に残りのリクエストを再試行させるにはどうすればよいですか?

多数のデータ ソースの中で、実行ごとに 20,000 を超えるクエリ バリエーションに対して特定の REST API をクエリしている Pentaho BI システムがあります。

予想通り、ほとんどの実行では、これらのリクエストのいくつかは接続の問題により失敗します。これらは通常、Pentaho ログに がorg.pentaho.di.core.exception.KettleException原因でjavax.net.ssl.SSLHandshakeException: Remote host closed connection during handshake、最終的には が原因として現れますjava.io.EOFException: SSL peer shut down incorrectly。

インターネットと Pentaho フォーラムを精査した後、このような場合に簡単な再試行アプローチを追加する方法を見つけることができません。髪が引き裂かれています。

StackOverflow を助けてください。あなただけが私の希望です!

更新 1: スタックトレース:

一連のジョブを継承し、ファイル システムへのログ記録は {SEV} MM-dd HH:MM:SS の形式で開始されます。タイムスタンプの一部として年を含める必要があります。

私が見つけることができる唯一の log4j 構成は古い Jasper インストールの一部であり、テストとして ISO8601 の代わりに log4j.appender.fileout.layout.conversionPattern=%d{yyyy-MM-dd} を使用するようにそれらを変更しても効果がないようです.

ログ行のフォーマットは他にどこで定義できますか?

私は同様の問題への言及を見てきましたが、これは正確なものではありません。私は4つのステップからなる簡単なPentahoジョブを持っています。最初はスタートです。2つ目は、DBクエリ呼び出しを行い、3行を返す変換です。変換が終了する前に（変換の最後のステップ）、「行を結果にコピー」ステップを呼び出します。これを使用することで、クエリの結果をジョブで使用できると思います。（私の仕事の）私の3番目のステップは、私が書いたスクリプトを呼び出します。「以前の結果を引数にコピーしますか？」の両方があります。および「すべての入力行に対して実行しますか？」両方チェックしました。私のスクリプトは「/home/myid/echo-me.sh」と呼ばれています。スクリプトが行うのは、$1をエコーアウトすることだけです。私の仕事の最後のステップは「成功」です。

コマンドラインからスクリプトを実行すると、機能します。コマンド： "/ home / myid / echo-me.sh helloworld"は、期待どおりに"helloworld"を生成します。ただし、Pentahoは、「/ bin / sh /-c/home/myid/echo-me.shhelloworld」のように「/bin/sh」を介してスクリプトを呼び出しているように見えます。この場合、パラメータはシェルスクリプトに渡されません。コマンドラインからこのように手動で実行して確認しました。「/bin/sh/-c'/home/myid/echo-me.shhelloworld'」のように、スクリプト（およびパラメーター）を一重引用符で囲むと、正常に機能します。

残念ながら、Pentahoに同じことをさせる方法がわかりません。「スクリプトファイル名」フィールドに引用符を付けると、あらゆる種類の大混乱が発生します。

興味深いことに、これはWindowsの問題ではないようです。シェル文字列を正しくエスケープしているようです...次のようになります：
cmd.exe / C "" c：\ mytest \ echo-me.bat "helloworld"

私が何か間違ったことをしているのか誰かがわかりますか？回避策？

ありがとう！

UserAgentUtils Java ライブラリを使用して、PDI 変換中にブラウザーのユーザー エージェント文字列からユーザー エージェントの詳細を抽出していますが、何をしても、ユーザー エージェント文字列を解析した後、常にライブラリから null バージョンが返されます。文字列のバージョンがはっきりとわかります。例えば：

2 つの質問です。UserAgentUtils からデータを取得するために私が正しく行っていないことは何ですか (バグ追跡システムにこれに関連する問題の履歴がないため、バグではないようです)。

または、ユーザー エージェント文字列からコンポーネント情報を抽出するために使用できる別の Java または JavaScript ライブラリはありますか? このコードが存在する PDI ジョブではどちらも同じように簡単に使用できるため、どちらでも問題ありません。

Spoon列の複数の値に対して機能する変換を作成したいと考えています。私の変換への入力は CSV ファイルです。その CSV ファイルには、次のようにセミコロンで区切られた 0 個以上の値を含む「Technology」という名前の列が 1 つあります。

「Technologies」という名前のデータベースに 1 つのテーブルがあり、そのスキーマは次のとおりです。

ここで、id列は自動インクリメントに設定されています。

その値がテーブルtechnologyに存在しない場合にのみ、列の値を挿入したい。Technologies

誰か教えてください

technology1)列の値を分割するために使用するステップのタイプはどれですか? 2) 値を一度だけ挿入する方法は? たとえば inrow 1とrow 2,Db2は繰り返されますが、一度だけ挿入したいですDb2。

前もって感謝します ！

Spoonに付属のJDBCドライバーを使用して、SpoonをHerokuPostgreSQLインスタンスに接続しようとしています。Herokuは、私が有効にしたスタンドアロンのPostgreSQLインスタンスにSSLを必要とします。

SSLを使用して他のクライアントソフトウェアを使用してデータベースに接続できるため、これはJava/JDBCに固有のようです。私はこれをトラブルシューティングするのに十分なJavaについて知らないので、誰かがこれを以前に経験したことを期待しています。

SSLHandshakeExceptionに言及する次のかなり冗長なエラーメッセージが表示されますが、これが他の原因なのか症状なのかわかりません。おそらく、JavaでSSL証明書を指定する必要がありますか？

JSON入力ステップで次を処理しようとしています:

ただし、これは不可能のようです:

このステップではIgnore Missing Pathフラグが提供されますが、すべての行で同じパスが見つからない場合にのみ機能します。その場合、そのステップは期待どおりに機能し、欠損値を null で埋めます。

これは、私の優先事項の 1 つであった不均等なデータを読み取るこのステップの能力を制限します。

私のステップ フィールドは次のように定義されています。

何か不足していますか？これは正しい動作ですか？