エラスティック検索でインデックスを作成したい非常に大きなリレーショナル データベース データセットがあります。データを取得するクエリは、複数の結合とその他すべての SQL グッズで構成されています。データは、意味のある json 表現を作成するために (メモリ内で) グループ化/処理され、結果から一括更新が作成され、elastic4sscala クライアントを使用してエラスティック検索に送信されます。
その両方にストリーミングを導入し、サポートしたいと考えslickてelasticいます。
私が抱えている問題は、メモリ内のグループ化と json への変換は、すべての結果 (特定のリレーションの) がメモリにロードされている場合にのみ意味があることです (いくつかの結合/左結合のため、ID でグループ化し、結果をマップする必要があります)。メモリ内）。ストリーミングではどのように処理されますか?