問題タブ [geokettle]

次のような ETL 要件があります。

テーブルから約 20000 レコードをフェッチし、各レコードを個別に処理する必要があります (各レコードの処理には、レコードごとにテーブルを作成してデータを挿入するなどのいくつかの手順が含まれます)。プロトタイプの場合、2 つのジョブ (対応する変換あり) で実装しました。テーブルではなく、単純な空のファイルを作成しました。しかし、この単純なケースもスムーズに機能しないようです。(レコードごとにテーブルを作成すると、ケトルは 5000 回のレコード後に終了します)

フロー

これを実行すると、Kettle は遅くなり、2000 ～ 3000 個のファイルの後でハングしますが、Kettle はしばらく停止しているように見えますが、処理は長い時間後に完了します。私の設計アプローチは正しいですか?. ファイルへの書き込みを、IDごとに(SQLスクリプトステップを介して)新しいテーブルを作成し、それにデータを挿入するなどの実際の要件に置き換えると、ケトルは5000レコード後に終了します。フローが機能するために何をする必要がありますか。Java メモリを増やします (Xmx は既に 2GB です)。他に変更できる構成はありますか? それとも他に方法はありますか？余分な時間は制約ではありませんが、流れはうまくいくはずです。

私の最初の推測では、データを保存していないため、少なくともプロトタイプはスムーズに動作するはずです。Kettle 3.2を使用しています。

こんにちは、「Modified Java Script Value」スクリプトを使用してフィールドの名前を変更したいと思います。

たとえば、入力フィールド「field1」があり、JavaScript を使用して名前を「NewField」に変更したいとします。

ありがとうございました、

タイムスタンプ列を含む CSV ファイルがあり、データ型は文字列です。このように見えます。

だから私は24時間形式で時間値を変換したい

私はITの専門家ではないので、何か非常に間違っている可能性があります。しかし、私はこの問題で何日も苦労しています…</p>

CentOS 7 を使用して VM で作業しています。GeoKettle で何かを実行すると、GDAL を指すこのエラーが発生します。

誰かが、Java への GDAL バインディングの欠如が原因でエラーが発生したことを指摘してくれました。だから私はgdal-Java RPMをインストールしました

https://www.rpmfind.net/linux/RPM/epel/7/x86_64/g/gdal-java-1.11.4-1.el7.x86_64.html

インストールしましたが、過去に取得できない依存関係エラーが連続して発生します（これは最初ですが、これの1つをインストールしようとすると、別の依存関係エラーのセットが発生しました）：

私のGDALバージョン：gdal.x86_64 0:1.11.4-10.rhel7

前もって感謝します、

ペドロ

私は Pentaho の GeoKettle (Spoon) を初めて使用し、現在 Excel ファイルからデータベースに行を入れています。データベーステーブルでの重複を避けたいと思います。そのため、まだ存在しない行のみをデータベース テーブルに挿入したいのです (データベース テーブルに一意のレコードのみを含めるため)。

私の知る限り、それを実現する方法は 2 つあります。私が試した最初の方法は、挿入/更新ステップ (更新機能を無効にしました) を使用し、レコードを挿入するかどうかにかかわらず、等しくなければならないすべての列を定義しました。しかし、うまくいきません。すべてのレコードは引き続きデータベースに挿入されます。

そのため、図に示すように、「更新」エラー処理ステップを備えた「テーブル出力」である (pentaho によると) はるかに高速なオプションを実行しようとしています。

写真のように、「テーブル出力」から「更新」に向かう矢印が黒くなっています。しかし、ステップのエラー処理には赤い点線が必要です。しかし、私はこれを作成する方法がわかりません。チュートリアルでは、図のような 2 つのオプションを含む小さなウィンドウが表示されることがよくあります。

しかし、私はそのポップアップを取得しません。ホップを作成したい場合は、両方のステップをマークし、そのうちの 1 つを右クリックする必要があります。では、どのような方法でこのような赤い点線の矢印を作成できますか? 最終的には、次のようになります。

よろしくお願いします！