1

分離されたアイテムを含むフラットな入力ファイルをパーティション化しようとして;います。行の最初の項目はカテゴリを示しています。このカテゴリでパーティションを作成して、カテゴリごとに専用のスレッドで処理されるパーティションを作成したいと思います。しかし、このパーティショニングロジックをカスタムで実装する方法に戸惑っていますPartitioner。パーティショニングはチャンク指向のステップの前、つまり読み取り、書き込みの前に行われるようです。したがって、カスタムパーティショナーのファイルを1行ずつ読み取り、その行からカテゴリフィールドを取得し、同じカテゴリの行を収集して作成する必要があるようです。ExecutionContextこれらのコレクションのそれぞれについて?

私は正しい方向を見ていますか?経験のある人は、ファイル(疑似コードの場合もあります)を使用して小さな例を提供できますか?

4

2 に答える 2

0

私はちょうどこの質問を自分で打ちました。カスタム Partitioner はカスタム ItemReader と組み合わせる必要があると思います。ItemReader は、スレーブ ステップ (パーティショナーによって配置された) からのデータで初期化され、その結果、そのステップに適した項目のみを読み取ります。

于 2012-08-08T13:10:39.343 に答える
0

全体的なアイデアを得るために、これらのリンクのここここでいくつかのカスタム パーティショナーの実装を見つけることができます。しかし、各パーティションの ExecutionContext の作成から逃れることはできないと思います。

于 2015-10-30T16:50:26.423 に答える