問題タブ [pentaho-spoon]

ジョブをリモートでマスター Carte サーバーに送信し、各ジョブを別のスレーブ サーバーに委任する簡単な方法はありますか?

私が読んだことによると、Pentaho ですぐに使用できるロード バランシングの唯一のオプションは、変換内のステップでクラスタリング構成を調整することです。その後、この構成を含む変換ステップは、定義されたスレーブ サーバーを利用します。このようにして、「一種の」負荷分散アプローチを使用できますが、実際には個々のジョブの並列化です。

それは私が探しているものではありません。私が必要としているのは、ジョブ内並列化の複雑さを伴わず、たとえばラウンドロビン方式で各ジョブまたは変換を別のスレーブに渡すだけで、マスターで実行されているすべてのものではなくすべてのハードウェアを実行する、より単純なアプローチです。 .

前もって感謝します

XMLファイル形式で作業しています。私のファイルはこれに似ています。最初の行は空白です。空行をスキップするにはどうすればよいですか?

ある都市の地区をまたがる人々の移動の流れに関する情報を含む .csv ファイルがあります。.csv ファイルからデータベース (2 つのテーブル) にデータをロードする変換を作成しています。

各行には次の情報があります。
- フィールド 1:
出発地の地区の名前 - フィールド 2 (フィールドの名前 = 到着地の名前): フィールドの値 = 出発地の地区からこの到着地の地区に移動した人の数
これは、宛先地区ごとに繰り返されます。

地区が 20 あるとすると、フィールドの総数は 21 になります。

次の出力を生成するステップが必要です (データ構造の変換): 次の構造を持つ新しい行:

• フィールド 1: 出身地区の名前
• フィールド 2: 宛先地区の名前
• フィールド 3: 地区「フィールド 1」から地区「フィールド 2」に変更された人数

したがって、このステップの出力には 20x20 行が含まれている必要があります。次に、次のデータベース テーブルに 400 行を挿入します。

この新しいデータ構造を生成できる変換ステップが見つかりません。javascript の手順を試して、各起点地区のループを手動で実装し、新しい行ごとにデータベース テーブルへの挿入を生成します。

テーブル入力ステップでデータを読み込んでいる場合があります。読み込まれる値は次のとおりです。

私が達成しようとしているのは、エージェントがサブエージェントと同じ値を持たないインスタンスがあるかどうかを確認することです。したがって、エージェント 1 にサブエージェント 1 がない場合は、次の行を作成する必要があります。

この単一の行を独自の行として生成する方法がよくわかりません。フィルター行を使用して定数を作成するいくつかの方法を試みましたが、すべての試行で、一致しない既存のエントリをすべて上書きしてサブエージェント 1 に変更するか、agent_1、sub agent_1、merchant_1、および total_1 フィールドを作成しました。

データベースの毎週の生成を自動化しようとしています。このプロセスの最初のステップとして、ネットワークの場所から一連のファイルを取得する必要がありますM:\。プロセスは次のとおりです。

1. 古いソース ファイルが残っている可能性がある場合は、ローカル フォルダー ( ) から削除しますREMOVE_OLD_FILES。
2. 正規表現を使用して、必要なファイルの名前を取得します ( GET_FILES)。
3. さらに処理するために、ネットワークの場所からローカル フォルダーにファイルをコピーします ( COPY/MOVE FILES)

ステップ 3 で問題が発生します。次のエラーが頻繁に表示されます。

ただし、ネットワーク上の場所で「エラーのある」ファイルを手動で見つけて、それを開くかコピーしようとすると、問題はありません。次に Spoon ジョブを再実行すると、このファイルでエラーは発生しません (ただし、次のファイルでエラーが発生する可能性があります)。

これまでのところ、手順 1 と 2 が正しく実行されることを確認しました。具体的には、手順 2 から返されたファイル名にエラーはありません。

明らかに、スプーンがファイルを正しくコピーできるようにするために、最初にすべてのファイルを手動で開く必要はありません。この動作を引き起こしている原因を知っている人はいますか?

完全を期すために、このステップで選択したパラメーターを以下に示しますCOPY/MOVE FILES。

1 つのデータベースに 3 つのテーブルがあります。これらのテーブルの間には外部キーがあります。Table1 は Table2 のマスターで、Table 2 は Table3 のマスターです。

次のように、データ値を取得して MongoDB ドキュメントに変換します。

私はすでに MongoDB 出力ステップで「Mongo ドキュメント パス」を使用しようとしていますが、 MongoDB 出力ドキュメントでわかるように、サブドキュメントに「アップサート」を使用することはできません。

Pentaho Data Integration (PDI) を使用してこれを行うにはどうすればよいですか?