1

私は自分のアプリをスケーリングするふりをしており、プロセスの一部には、いくつかの処理クライアントによってケトルジョブを同時に実行することが含まれています。ある時点で、変換は共有テーブル (「clients_table」と仮定します) で組み合わせルックアップを実行する必要があります。考えられるクライアントはすべて不明であるため、ショーアップとして挿入されます。このテーブルで同時に実行されているジョブ (たとえば 2 としますが、クライアントごとにそれ以上になる可能性があります) の組み合わせルックアップでは、存在しないクライアントを挿入するときに「エントリ キー xxx が重複しています」というエラーが発生するため、同時実行の問題が発生します (組み合わせルックアップの場合)。 ID を取得するためのテーブルでそれらを見つけられませんでした)。処理クライアントがケトル ジョブを実行するたびに新しいクライアントが転送されるのは事実であるため、上記の問題は非常に一般的です。ケトルの哲学を破っているのか、それとも何かが欠けているのだろうか、ケトルの変換をトランザクション対応にすることについて読んだことがありますが、それが私の解決策になるのでしょうか? アイデアをください。

PS: Kettle 4.2 と MySql 5.2 を使用しています。

4

1 に答える 1

0

変換全体をトランザクション化するのは非常に高価であるため、ケトル用に独自のトランザクション組み合わせルックアップ プラグイン (キャッシュ管理を使用) を実行することになりました。

于 2012-08-22T18:04:52.163 に答える