問題タブ [pdi]

Pentaho Data Integration で変換を行います。最初に行うことは、「CSV 入力」を使用してフラット ファイルをマッピングすることです。

Windowsで問題が発生したことはありませんが、現在、スプーンが実行されるサーバーをLinuxサーバーに変更しており、特殊文字に問題があります。

最初に気付いたのは、システムが名前をデータベースにあるものとは異なる文字列として認識していたため、テーブルが更新されていることでした。

問題を確認したところ、[CSV 入力] -> [プレビュー] に移動すると、上記の問題のあるデータのプレビューが表示されることにも気付きました。

特殊文字は表示されません。

あるべき場所:

コマンドを使用してファイルの charset/codification を確認したところ、次のように表示されました。

vi で foo.csv を開くと、特殊文字が理解されます。

何が問題なのか、何を試すべきなのかについて何か考えはありますか?

pentaho データ統合をインストールしました。どこから始めればよいかわかりません。つまり、インストールされたフォルダーのどこをクリックしてアプリケーションを実行する必要があるかということです。

私はPDIが初めてです。ID番号を取得してcsvファイルに保存しようとしています。ただし、次のエラーが発生し続けます

ケトルデータベース例外ペンタホ、クエリを閉じることができませんでした:結果セットまたは準備されたステートメント

2015/06/01 16:36:58 - Orbit:Get CDC transactions.0 - 実行を開始しています... 2015/06/01 16:36:58 - CDC.0 の値を選択します - 実行を開始しています... 2015 /06/01 16:36:58 - テキスト ファイル output.0 - 実行を開始しています... 2015/06/01 16:36:58 - Orbit:Get CDC transactions.0 - ストリームからのクエリ パラメータの読み取り [次の値を選択します] CDC] 2015/06/01 16:36:58 - Orbit :CDC transactions.0 を取得 - ステップから読み取り [CDC の値を選択] 2015/06/01 16:36:58 - CDC.0 の値を選択 - 行を取得前のステップから: [0] 2015/06/01 16:36:58 - CSV ファイル入力.0 - 処理終了 (I=2、O=0、R=0、W=1、U=0、E=0 ) 2015/06/01 16:36:58 - CDC.0 の値を選択します - 次のステップに行を書き込みました: [0] 2015/06/01 16:36:58 - フィールド値が null.0 の場合 - シグナリング '出力done' を 1 つの出力行セットに変換します。2015/06/01 16:36:58 - フィールド値が null の場合。0 - 終了した処理 (I=0、O=0、R=1、W=1、U=0、E=0) 2015/06/01 16:36:58 - CDC.0 の値を選択 - シグナリングの出力done' を 1 つの出力行セットに変換します。2015/06/01 16:36:58 - CDC.0 の値を選択 - 処理完了 (I=0、O=0、R=1、W=1、U=0、E=0) 2015/06/01 16:36:58 - Orbit:Get CDC transactions.0 - 見つかったクエリ パラメータ = [0] 2015/06/01 16:36:58 - Orbit:Get CDC transactions.0 - SQL クエリ: SELECT tb.* FROM gl_history tbどこで tb.ptid > ? 2015/06/01 16:36:58 - テキスト ファイル output.0 - エラー (バージョン 5.2.0.0、buildguy による 2014-09-30_19-48-28 からのビルド 1): 予期しないエラー 2015/06/01 16:36 :58 - テキスト ファイル output.0 - ERROR (バージョン 5.2.0.0、ビルド 1 から 2014-09-30_19-48-28 by buildguy): org.pentaho.di.core.exception.KettleStepException: 2015/06/01 16 :36:58 - テキスト ファイル output.0 - フィールド [calc_amt] できませんでした' 入力ストリームに見つかりません! 2015/06/01 16:36:58 - テキスト ファイル output.0 - 2015/06/01 16:36:58 - テキスト ファイル output.0 - org.pentaho.di.trans.steps.textfileoutput.TextFileOutput.processRow (TextFileOutput.java:139) 2015/06/01 16:36:58 - テキスト ファイル output.0 - org.pentaho.di.trans.step.RunThread.run(RunThread.java:62) 2015/06/01 で16:36:58 - テキスト ファイル output.0 - java.lang.Thread.run(Thread.java:722) 2015/06/01 16:36:58 - Orbit:Get CDC transactions.0 - 配置中に停止バッファーの行 2015/06/01 16:36:58 - 軌道 - ステートメントがキャンセルされました! 2015/06/01 16:36:58 - 軌道 - ステートメントはキャンセルされました! 2015/06/01 16:36:58 - 軌道 - ステートメントはキャンセルされました! 2015/06/01 16:36:58 - 軌道 - ステートメントはキャンセルされました! 2015/06/01 16:36:58 - null .0 を置き換えます - バッファに行を配置中に停止しました 2015/06/01 16:36:58 - テキスト ファイルの出力。0 - 通常のファイルを閉じています... 2015/06/01 16:36:58 - Orbit : CDC transactions.0 を取得 - クエリの読み取りを終了し、接続を閉じています。2015/06/01 16:36:58 - null .0 を置換 - 処理終了 (I=0、O=0、R=6、W=5、U=0、E=0) 2015/06/01 16: 36:58 - テキストファイル出力.0 - 処理終了 (I=0, O=1, R=1, W=0, U=0, E=1) 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history -トランスフォーメーションは、エラーのある 1 つ以上のステップを検出しました。2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - 変換が他のステップを殺しています! 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - ステップを見る: CSV ファイル入力 2015/06/01 16:36:58 - Orbit:Get CDC transactions.0 - エラー (バージョン 5.2.0.0、2014 年からのビルド 1) -09-30_19-48-28 by buildguy): クエリを閉じるときに予期しないエラーが発生しました: org.pentaho. di.core.exception.KettleDatabaseException: 2015/06/01 16:36:58 - Orbit:Get CDC transactions.0 - クエリを閉じることができませんでした: 結果セットまたは準備されたステートメント 2015/06/01 16:36:58 - Orbit: Get CDC transactions.0 - このステートメントでキャンセルが呼び出されました。2015/06/01 16:36:58 - orbit - データベースへの接続が閉じられました! 2015/06/01 16:36:58 - Orbit : CDC transactions.0 を取得 - 処理完了 (I=50、O=0、R=1、W=48、U=0、E=1) 2015/06/ 01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - ステップを見る: フィールド値が null の場合 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - ステップを見る: CDC の値を選択 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - ステップを見る: Orbit :CDC トランザクションを取得する 2015/06/01 16:36: 58 -T_STG_ORBIT_SERIALIALIZE_GENERIC_FOR_FACT_GL_HISTORY-ステップを見る：NULL 2015/06/01の交換16:36:58 -T_STG_ORBIT_SERIALIZE_GENERIC_FOR_FACT_GL_HISTORY-ステップで見るbuildguy による 2014-09-30_19-48-28 からのビルド 1 : エラーが検出されました! 2015/06/01 16:36:58 - スプーン - 変身完了!! 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - エラー (バージョン 5.2.0.0、buildguy による 2014-09-30_19-48-28 からのビルド 1): エラーが検出されました! 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - エラー (バージョン 5.2.0.0、buildguy による 2014-09-30_19-48-28 からのビルド 1): エラーが検出されました! 2015/06/01 16:36: 58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - トランスフォーメーションでエラーのあるステップが 1 つ以上検出されました。2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - 変換が他のステップを殺しています! 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - ステップを見る: CSV ファイル入力 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - ステップを見る: フィールド値が null の場合 2015/06/01 16:3 :58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - ステップを調べます: CDC の値を選択します 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_generic_for_fact_gl_history - ステップを調べます: Orbit : CDC トランザクションを取得します 2015/06/01 16:36:58 - T_STG_ORBIT_serialize_historyステップ: null を置換 2015/06/01 16:36:

pentaho PDI インストール用の新しいプラグイン/ステップを開発しています。

問題は、ステップがプラグイン/ステップフォルダーにある場合、スプーンを開始できないことです。それを取り出すと、正常に開始できるため、間違いなく私のステップの問題ですが、表示されません少なくともコードを確認するだけでなく、何か問題があります...

私は問題なく他のいくつかを作成しましたが、これは私のスプーンのインストールを実行させたくありません:/

誰かが何らかの入力を与えることができますか? 少なくともプラグインをしなければならなかった人がいることは知っています...

「メールメッセージ入力」を使用してケトル（Pentaho PDI）でメール添付ファイルを抽出しようとしています。他の例を見て、すべてこの例 に従います。ここでは、入力手順が異なります「メールを取得（POP3 / IMAP）」添付ファイルの処理方法を指定できます。私は PDI 5.2 を使用しており、5.3 で試してみましたが、この 2 番目のタイプの入力 'pop3/imap' がありません。

添付ファイルを取得する他の方法はありますか? ご協力ありがとう御座います

Pentaho Data Integration (別名 Kettle) で変換を行います。最初に行うことは、「CSV 入力」を使用してフラット ファイルをマップすることです。

Windowsでこのステップで問題が発生したことはありませんが、スプーンが実行されるサーバーをLinuxサーバーに変更していて、解析（文字列を整数に変換）に問題があります。

要するに、変換が行うことは次のとおりです。

CSV 入力: CSVからすべてのフィールドをマップするために使用されます。ISO-8859-1 エンコーディングを使用しています。

行のフィルター処理:特定の行を取得するために使用されます。

Script Values/Mod:一部のフィールドの一部の値を変更するために使用されます。

さて、問題を引き起こすステップ：

値の選択/名前変更:表にデータを挿入できるように、ヘッダーの名前を表の列に変更するために使用します。各タブには何がありますか?

Select & Alter (タブ) ※空欄省略

Fieldname Rename to      
Código      codigo_cliente 

メタデータ（タブ） ※空欄省略

Fieldname Rename to      Type      Binary to Normal Data Format Lenient? Lenient number conversion? 
Código      codigo_cliente Integer   N                         N                                  N                                            

私が得るエラーは次のとおりです。

このフィールドでは、CSV ファイルの小数点記号としてカンマを使用しているため、問題が発生します。

これは私のCSVファイルがどのように見えるかです：

私のCSVファイルのヘッダー：

その行の1つ:

見やすくするために、この行の "Código" という名前の列 (後で [値の選択] ステップで "codigo_cliente" になります) の値は87.979,00 です。

CSV ファイルを変更せずにこの問題を解決するにはどうすればよいでしょうか?

Pentaho データ統合変換で Json 出力ファイル名として連結フィールドを使用したいのですが、「フィールドをファイル名として受け入れる」オプションが表示されない限り、これを実現する方法がわかりません。

誰かがそれを整理するのを手伝ってくれますか?

前もって感謝します！

Pentaho 5.3 (SP201505) JCR フォルダーから Windows ファイル システム フォルダー (同じサーバー上、Server 2008 R2 Enterprise) にファイルを移動する Kettle ジョブを作成しました。ジョブの「移動」部分では、 [ソース ファイルの削除] オプションを選択して [ファイルのコピー]ステップを使用します。

最初に、ジョブは期待どおりに実行され、すべてのファイルがソース JCR フォルダーから宛先ファイル システム フォルダーに移動されます。

このジョブが再び実行される前に、Pentaho ユーザーは新しいファイルをソース JCR フォルダーに配置しました。ただし、次にこのジョブを実行すると、PUC 内からファイルを参照できても、ソース JCR フォルダーにファイルが表示されなくなります。

私はSpoon内からジョブを実行しています(コーディングとテスト中)。VFS プロトコルjcr-solutionを使用して、JCR フォルダー内のファイルにアクセスしています。

このジョブは、JCR フォルダへの変更を確認するために、実行するたびに何らかのリポジトリの更新を行う必要がありますか? また、必要な場合、ジョブ内でこれをどのように行うのでしょうか?

Pentaho を使用して、データベースのレコードを変換のパブリック パラメータの値で更新したいと考えています。オプションをチェックするなどのいくつTable inputかのステップでパラメーターの値を使用できることを知っています。ただし、ステップで使用するために、変換のパブリックパラメーターの値を渡す方法が見つかりません。誰でもそれで私を助けることができますか？Database JoinReplace variableUpdate

明確にするために：ここで定義されているパラメーターを使用したい