20

Spark Structured Streaming で複数の集計を行いたいと考えています。

このようなもの:

  • 入力ファイルのストリームを (フォルダーから) 読み取る
  • 集計 1 を実行します (一部の変換あり)
  • 集計 2 (およびその他の変換) を実行する

これを構造化ストリーミングで実行すると、「ストリーミング データフレーム/データセットでは複数のストリーミング アグリゲーションはサポートされていません」というエラーが表示されます。

構造化ストリーミングでこのような複数の集計を行う方法はありますか?

4

8 に答える 8

0

spark 2.2 以降 (以前のバージョンについては不明) では、集計を追加モードでflatMapGroupWithStateを使用するように設計できれば、必要な数の集計を行うことができます。制限はここに記載されていますSpark 構造化ストリーミング - 出力モード

于 2018-06-24T05:55:07.023 に答える