2

新しい Spark Shell REPL セッションから以下のメソッドを実行すると、すべて正常に動作します。ただし、このメソッドを含むクラスをコンパイルしようとすると、次のエラーが発生します

Error:(21, 50) value values is not a member of org.apache.spark.rdd.RDD[(Long, org.apache.spark.mllib.recommendation.Rating)]
val training = ratings.filter(x => x._1 < 6).values.repartition(numPartitions).persist
                                             ^
Error:(22, 65) value values is not a member of org.apache.spark.rdd.RDD[(Long, org.apache.spark.mllib.recommendation.Rating)]
val validation = ratings.filter(x => x._1 >= 6 && x._1 < 8).values.repartition(numPartitions).persist
                                                            ^
Error:(23, 47) value values is not a member of org.apache.spark.rdd.RDD[(Long, org.apache.spark.mllib.recommendation.Rating)]
val test = ratings.filter(x => x._1 >= 8).values.persist
                                          ^

どちらの場合も、Spark 1.0.1 を使用しています。コード自体は次のとおりです。

def createDataset(ratings: RDD[Tuple2[Long,Rating]]): List[RDD[Rating]] = {

    val training = ratings.filter(x => x._1 < 6).values.repartition(numPartitions).persist
    val validation = ratings.filter(x => x._1 >= 6 && x._1 < 8).values.repartition(numPartitions).persist
    val test = ratings.filter(x => x._1 >= 8).values.persist
    val numTraining = training.count
    val numValidation = validation.count
    val numTest = test.count

    println(" Number Of Training ::: " + numTraining + " numValidation ::: " + numValidation + " ::: " + numTest)
    List(training,validation,test)
  }

これは MLLib チュートリアル (わずかに適応) から取得したもので、何が問題なのかわかりません。

4

1 に答える 1

5

コードにこの行が必要です

import org.apache.spark.SparkContext._

これにより、 への暗黙的な変換がインポートされ、PairRDDFunctionsを呼び出すことができますvalues。spark REPL はこれをインポートします。これが、インタープリターにエラーが表示されない理由です。具体的には、この関数SparkContextは変換を行います。 

implicit def rddToPairRDDFunctions[K, V](rdd: RDD[(K, V)])
      (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) = {
    new PairRDDFunctions(rdd)
  }
于 2014-07-28T18:57:17.490 に答える