scala - reduceByKey メソッドが Scala Spark に見つからない

Question

ソースからhttp://spark.apache.org/docs/latest/quick-start.html#a-standalone-app-in-scalaを実行しようとしています。

この行：

val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)

エラーを投げています

value reduceByKey is not a member of org.apache.spark.rdd.RDD[(String, Int)]
  val wordCounts = logData.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)

logData.flatMap(line => line.split(" ")).map(word => (word, 1))MappedRDD を返しますが、 http ://spark.apache.org/docs/0.9.1/api/core/index.html#org.apache.spark.rdd.RDD でこのタイプを見つけることができません

このコードを Spark ソースから実行しているので、クラスパスの問題でしょうか? しかし、必要な依存関係は私のクラスパスにあります。

Answer 1

実際には、PairRDDFunctions クラスで見つけることができます。PairRDDFunctions は、暗黙的な変換によって (キー、値) ペアの RDD で使用できる追加の関数を含むクラスです。

https://spark.apache.org/docs/2.1.0/api/scala/index.html#org.apache.spark.rdd.PairRDDFunctions