10

私はSpark 1.6.1を使用しています:

現在、CrossValidator を使用して、ML パイプラインをさまざまなパラメーターでトレーニングしています。トレーニング プロセスの後、CrossValidatorModel の bestModel プロパティを使用して、クロス検証中に最高のパフォーマンスを発揮したモデルを取得できます。交差検証の他のモデルは自動的に破棄されますか、それとも bestModel よりパフォーマンスの悪いモデルを選択できますか?

クロスバリデーションに F1 Score メトリクスを使用しているので質問していますが、クロスバリデーション中に最高のパフォーマンスを発揮したモデルだけでなく、すべてのモデルの weightedRecall にも関心があります。

val folds = 6
val cv = new CrossValidator()
  .setEstimator(pipeline)
  .setEvaluator(new MulticlassClassificationEvaluator)
  .setEstimatorParamMaps(paramGrid)
  .setNumFolds(folds)

val avgF1Scores = cvModel.avgMetrics

val predictedDf = cvModel.bestModel.transform(testDf)

// Here I would like to predict as well with the other models of the cross validation
4

2 に答える 2

9

Spark >= 2.4.0 ( Scala では >= 2.3.0 )

SPARK-21088 CrossValidator、TrainValidationSplit は、フィッティング時にすべてのモデルを収集する必要があります- サブモデルの収集のサポートを追加します。

cv = CrossValidator(..., collectSubModels=True)

model = cv.fit(...)
model.subModels

スパーク < 2.4

すべての中間モデルにアクセスしたい場合は、カスタム クロス バリデーターを最初から作成する必要があります。o.a.s.ml.tuning.CrossValidatorは他のモデルを破棄し、最良のモデルとメトリックのみが にコピーされますCrossValidatorModel。

Pyspark - ParamGridBuilder で作成されたモデルのすべてのパラメーターを取得するも参照してください。

于 2016-08-10T13:27:55.753 に答える
9

何かの本番実装ではなく、実験のためにこれを行うことを検討している場合は、モンキー パッチを適用することをお勧めします。これは、中間トレーニング結果を出力するために行ったことです。CrossValidatorVerboseのドロップイン代替品として使用してCrossValidatorください。

import numpy as np

from pyspark.ml.tuning import CrossValidator, CrossValidatorModel
from pyspark.sql.functions import rand


class CrossValidatorVerbose(CrossValidator):

    def _fit(self, dataset):
        est = self.getOrDefault(self.estimator)
        epm = self.getOrDefault(self.estimatorParamMaps)
        numModels = len(epm)

        eva = self.getOrDefault(self.evaluator)
        metricName = eva.getMetricName()

        nFolds = self.getOrDefault(self.numFolds)
        seed = self.getOrDefault(self.seed)
        h = 1.0 / nFolds

        randCol = self.uid + "_rand"
        df = dataset.select("*", rand(seed).alias(randCol))
        metrics = [0.0] * numModels

        for i in range(nFolds):
            foldNum = i + 1
            print("Comparing models on fold %d" % foldNum)

            validateLB = i * h
            validateUB = (i + 1) * h
            condition = (df[randCol] >= validateLB) & (df[randCol] < validateUB)
            validation = df.filter(condition)
            train = df.filter(~condition)

            for j in range(numModels):
                paramMap = epm[j]
                model = est.fit(train, paramMap)
                # TODO: duplicate evaluator to take extra params from input
                metric = eva.evaluate(model.transform(validation, paramMap))
                metrics[j] += metric

                avgSoFar = metrics[j] / foldNum
                print("params: %s\t%s: %f\tavg: %f" % (
                    {param.name: val for (param, val) in paramMap.items()},
                    metricName, metric, avgSoFar))

        if eva.isLargerBetter():
            bestIndex = np.argmax(metrics)
        else:
            bestIndex = np.argmin(metrics)

        bestParams = epm[bestIndex]
        bestModel = est.fit(dataset, bestParams)
        avgMetrics = [m / nFolds for m in metrics]
        bestAvg = avgMetrics[bestIndex]
        print("Best model:\nparams: %s\t%s: %f" % (
            {param.name: val for (param, val) in bestParams.items()},
            metricName, bestAvg))

        return self._copyValues(CrossValidatorModel(bestModel, avgMetrics))

注: このソリューションは、CrossValidationModel.avgMetrics が平均ではなくメトリックの合計に設定されている v2.0.0 のバグとして私が見ているものも修正します。

の単純な 5 倍検証の出力の例を次に示しますALS。

Comparing models on fold 1
params: {'regParam': 0.1, 'rank': 5, 'maxIter': 10}     rmse: 1.122425  avg: 1.122425
params: {'regParam': 0.01, 'rank': 5, 'maxIter': 10}    rmse: 1.123537  avg: 1.123537
params: {'regParam': 0.001, 'rank': 5, 'maxIter': 10}   rmse: 1.123651  avg: 1.123651
Comparing models on fold 2
params: {'regParam': 0.1, 'rank': 5, 'maxIter': 10}     rmse: 0.992541  avg: 1.057483
params: {'regParam': 0.01, 'rank': 5, 'maxIter': 10}    rmse: 0.992541  avg: 1.058039
params: {'regParam': 0.001, 'rank': 5, 'maxIter': 10}   rmse: 0.992541  avg: 1.058096
Comparing models on fold 3
params: {'regParam': 0.1, 'rank': 5, 'maxIter': 10}     rmse: 1.141786  avg: 1.085584
params: {'regParam': 0.01, 'rank': 5, 'maxIter': 10}    rmse: 1.141786  avg: 1.085955
params: {'regParam': 0.001, 'rank': 5, 'maxIter': 10}   rmse: 1.141786  avg: 1.085993
Comparing models on fold 4
params: {'regParam': 0.1, 'rank': 5, 'maxIter': 10}     rmse: 0.954110  avg: 1.052715
params: {'regParam': 0.01, 'rank': 5, 'maxIter': 10}    rmse: 0.952955  avg: 1.052705
params: {'regParam': 0.001, 'rank': 5, 'maxIter': 10}   rmse: 0.952873  avg: 1.052713
Comparing models on fold 5
params: {'regParam': 0.1, 'rank': 5, 'maxIter': 10}     rmse: 1.140098  avg: 1.070192
params: {'regParam': 0.01, 'rank': 5, 'maxIter': 10}    rmse: 1.139589  avg: 1.070082
params: {'regParam': 0.001, 'rank': 5, 'maxIter': 10}   rmse: 1.139535  avg: 1.070077
Best model:
params: {'regParam': 0.001, 'rank': 5, 'maxIter': 10}   rmse: 1.070077
于 2016-11-11T16:36:24.420 に答える