apache spark ストリーミングで reduceByKey を呼び出すときに、ストリーム内のレコードの順序が保証されているかどうか疑問に思っていました。基本的に、私が行う計算の一部は、最後の値を取得する必要があります。
次に例を示します。
JavaPairDStream< String, Double > pairs; // ...
pairs.reduceByKey( new Function2<Double, Double, Double>() {
@Override public Double call(Double first, Double second) throws Exception {
return second;
}
});