2

spark 2.0.1-SNAPSHOT で新しいストリーミング書き込み機能を使用しようとしています。結果を保持するために実際にサポートされている出力データソースはどれですか? 次のような出力をコンソールに表示できました。

Dataset<Event> testData = sqlContext
    .readStream()
    .schema(schema)
    .format("json")
    .load("s3://......")
    .as(encoder);

Dataset<Row> result = testData.filter("eventType = 'playerLoad'")
    .groupBy(col("country"), window(col("timestamp"), "10 minutes"))
    .agg(sum("startupTime").alias("tot"));

result.writeStream()  
      .outputMode(OutputMode.Complete())
      .format("console")
      .start()
      .awaitTermination();

しかし、.format("console") を "json" または "jdbc" に変更しようとすると、次のメッセージが表示されます: データ ソース xxx はストリーミング書き込みをサポートしていません。

4

1 に答える 1