java - spark2 のキューに入れられたストリーム

Question

spark 1.6.1 では、このメソッドに感謝 します JAVA で RDD を DStream に変換する方法は? 次のようなテキスト ファイルからキュー ストリームを作成できました。

List<JavaRDD<String>> inputRdds = Arrays.stream(inputDirFile.listFiles((file) -> {
    return file.getName().matches(properties.getInputFileRule());
})).map(file -> {
    return sc().textFile(file.getAbsolutePath());
}).collect(Collectors.toList());

Queue<JavaRDD<String>> queue = new LinkedList<JavaRDD<String>>(inputRdds);

JavaDStream<String> inputForCheckpointAsStream = jsc().queueStream(queue, true);

このようにストリームを取得しましたが、バッチごとに1つのファイルしかありません。ファイルには JSON データが含まれています。寄木細工のファイルを使用せずに SparkSession と Datasets を使用して、spark2 でもキューに入れられたストリーム (上記の方法のようなもの) を作成する方法はありますか?

• sc()Javaスパークコンテキストです
• jsc()Javaストリーミングコンテキストです