1

1 つのジョブから複数のストリーミング SQL クエリを Kafka ストリームで実行できるようにする方法。構造化されたストリーミングは、確実に前進できる方法ですか。たとえば、1 つのジョブでストリームに対して 10 個のクエリを実行しています。9 つのクエリのみを実行したいとします。実行ごとにストアから実行するクエリを動的に変更する方法はありますか。ストリーミング クエリ (別名連続クエリ) を実行するたびに、クエリを実行してストアから動的に選択する必要があります。

4

1 に答える 1

1

複数のクエリを処理したい場合は、使用する必要がありますspark.streams.awaitAnyTermination() 

val spark = SparkSession
      .builder()
      .getOrCreate() 
val query1 =  spark ... 
val query2 =  spark ...  
spark.streams.awaitAnyTermination()

次に、Stream から SQL 生クエリを読み取り、その値を問題なく他のストリームに使用できます。

于 2017-06-27T11:21:13.477 に答える