apache-spark - Spark ストリーミングで Kafka を使用する (Spark 2.0)

Answer 1

Spark 2.0 は、無限の DataFrames/Sets のソースとして Kafka をまだサポートしていません。2.1で対応予定

編集: (6.12.2016)

Kafka 0.10 は、Spark 2.0.2 で実験的にサポートされるようになりました。

val ds1 = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
  .option("subscribe", "topic1")
  .load()

ds1
  .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
  .as[(String, String)]