次のコードでは、Spark Web UI の Stages セクションにあるように、関数 fn1 と fn2 が順番に inRDD に適用されているようです。
DstreamRDD1.foreachRDD(new VoidFunction<JavaRDD<String>>()
{
public void call(JavaRDD<String> inRDD)
{
inRDD.foreach(fn1)
inRDD.foreach(fn2)
}
}
この方法でストリーミング ジョブを実行すると、方法が異なります。以下の関数は、入力 Dstream で並行して実行されますか?
DStreamRDD1.foreachRDD(fn1)
DStreamRDD2.foreachRDD(fn2)