問題タブ [cross-validation]

libsvmtrain_ovaこのリンク の結果をプロットしたい: 10 倍のクロス検証での一対一の SVM (LibSVM を使用)

、このコードを使用しましlibsvmtrain_ovaたが、正しく機能していないと思います。

予測関数がまたは関数crossvalであるMATLABでの関数の使用法の簡単な例を見ることができるソースを提供またはリダイレクトできますか?ARARX

MATLAB のドキュメントや Web から例を見つけることができません...

ライブラリのrfe機能について質問があります。caretcaret-homepageリンクでは、次の RFE アルゴリズムが提供 されています。

この例では、rfe関数を 3 分割交差検証で使用し、train関数を線形 SVM と 5 分割交差検証で使用しています。

• 上記のアルゴリズムから、このアルゴリズムは 2 つのネストされた交差検証で機能すると仮定しました。
  1. rfeデータ（150サンプル）を3つのフォールドに分割します
  2. このtrain関数は、トレーニング セット (100 サンプル) で実行され、モデル パラメーターを調整するための 5 分割交差検証が行われ、その後の RFE が使用されます。

私を混乱させるのは、rfe関数の結果を見ると、次のことです。

このことから、5 倍の cv からのトレーニング セットのサイズは、サイズが 80 であると予想される場合、120 サンプルであることがわかります。

したがって、誰かがrfeとtrainがどのように連携するかを明確にできれば幸いです。

乾杯

m個のクラスでn分割交差検定を実行すると、各分割で、トレインセットとテストセットのバランスが取れていますか？バランスが取れているということは、トレインセットとテストセットの各クラスから（ほぼ）同じサンプルのセットがあるかどうかを尋ねることを意味します。

だから私は決定木プログラムを書いている最中です。1000 インスタンスのデータセットがあるとします。私が理解しているように、相互検証を使用して、データセットを900〜100のグループに分割しました。毎回異なる 900 セットを使用してツリーを作成し、100 セットを使用してテストします

私が理解していないのは、これらの質問です: 1. 最終的な決定木としてどの木を使用しますか (過適合が原因である可能性があるため、エラーが最も少ないものを選択することは適切なオプションではありません) 2クロス検証は、最終的なツリーのエラーを推定するためだけに使用されますか? 3. 交差検証に関するいくつかの異なるアルゴリズムを見つけました。同じ分割基準を使用したものもあれば、最良のツリーを選択するために異なるものを使用したものもありました。必要？またはあなた自身を説明しますか？

ありがとうございました！

サポートベクターマシンの結果を改善するには、グリッド検索を使用して、より適切なパラメーターを検索し、相互検証を行う必要があります。scikit-learnでそれらをどのように組み合わせるかはわかりません。グリッド検索は最適なパラメーターを検索し（http://scikit-learn.org/stable/modules/grid_search.html）、相互検証は過剰適合を回避します（http://scikit-learn.org/dev/modules/cross_validation.html）

結果：

明らか
TypeError: __init__() got an unexpected keyword argument 'scoring' にスコアリングがパラメーターである場合( http://scikit-learn.org/dev/modules / generated/sklearn.grid_search.GridSearchCV.html#sklearn.grid_search.GridSearchCV )?

これが私の目標です (y):

実行中に理由がわかりません：

次のエラーが表示されます。

CARETのドキュメント ( http://caret.r-forge.r-project.org/training.html ) とビネットを注意深く読みましたが、すべてが非常に明確です (Web サイトの例は非常に役立ちます!)。への2つの引数の関係について、私はまだ混乱していますtrainControl:

trainControlとキャレット内のデータ分割関数の間の相互作用(例: createDataPartition、createResample、createFoldsおよびcreateMultiFolds)

質問をより適切に構成するために、ドキュメントから次の例を使用します。

私の質問は次のとおりです。

1. createDataPartition上記の例のように (階層化されたブートストラップを行うと仮定します) を使用し、結果を do として渡すと、index呼び出しtrainControlでLGOCVメソッドとして使用する必要がありますtrainControlか? 別のものを使用した場合 (例cv) どのような違いがありますか? 私の頭の中では、 を修正するindexと、基本的に交差検証の種類を選択することになりmethodますindex。

2. createDataPartitionとはどう違いcreateResampleますか？createDataPartition成層化されたブートストラップを行うのですか?そうではありませcreateResampleんか?

3) キャレットを使用して階層化された k 分割 (例: 10 分割) 交差検証を行うにはどうすればよいですか? 以下はそれを行いますか？

ngram モデルのコンテキストでクロス検証がどのように機能するかを理解しようとしています。モデルは基本的に、トレーニング中のコーパスからの各 ngram の確率をリストしていることを理解しています。しかし、クロスバリデーションはどのように機能するのでしょうか? 調整すべきパラメータは何ですか? 検証セットで 100% の精度を得たいことはわかっていますが、これを機能させるために何を調整する必要があるかわかりません。スムージングとか関係あるの？