分離されたアイテムを含むフラットな入力ファイルをパーティション化しようとして;
います。行の最初の項目はカテゴリを示しています。このカテゴリでパーティションを作成して、カテゴリごとに専用のスレッドで処理されるパーティションを作成したいと思います。しかし、このパーティショニングロジックをカスタムで実装する方法に戸惑っていますPartitioner
。パーティショニングはチャンク指向のステップの前、つまり読み取り、書き込みの前に行われるようです。したがって、カスタムパーティショナーのファイルを1行ずつ読み取り、その行からカテゴリフィールドを取得し、同じカテゴリの行を収集して作成する必要があるようです。ExecutionContext
これらのコレクションのそれぞれについて?
私は正しい方向を見ていますか?経験のある人は、ファイル(疑似コードの場合もあります)を使用して小さな例を提供できますか?