問題タブ [cross-validation]

キャレット モデルからのフォールド外予測を使用して、元の予測子の一部を含む第 2 段階のモデルをトレーニングしたいと考えています。次のように、フォールド外の予測を収集できます。

これは素晴らしいことですが、順序が間違っています。

trainオブジェクトが各フォールドのトレーニングに使用されたインデックスのリストを返すことはわかっています。

out_of_foldこの情報を使用して、元のデータセットと同じ順序でオブジェクトに観測を配置するにはどうすればよいBostonHousingですか?

I have a dataset (where each data is a vector of attributes with their corresponding class label). I want to split the dataset to a training set and testing set. Is there anyway to do this automatically ?

Spring Roo + jpa + hibernate を使用しており、アプリケーションにクロス検証(同時に複数のフィールドの検証)を実装したいと考えています。

それを実装する方法がわかりません。誰でも私にアドバイスしたり、関連するドキュメントに誘導したりできますか?

liblinear と libsvm では、このオプション-v kにより k 分割交差検証を実行できます。しかし、統計的有意性をテストするには、各フォールドで得られた精度が必要です。もちろん、各折り目を作成し、トレーニングを実行してk回テストする長い方法がありますが、-vオプションを使用しても各折り目の精度を得る方法があるかどうか疑問に思っていました.

liblinear と libsvm は、私の質問に対して同じ答えになると思います。これについて間違っている場合は修正してください。

lmer オブジェクトに対して 10 倍の検証を実行する必要があります。このモデルには、非線形成長曲線の分数多項式変換が含まれています。

このモデルで動作する k 分割交差検証パッケージが見つかりません! 何か案は？

を使用して、を使用するときに、分類子scikit-learnのメソッドに追加のパラメーターを渡す方法はありますか？たとえば、分類子のまたはをどのように指定しますか。fitcross_val_scoresample_weightclass_priorMultinomialNB

scikit-learnについてのページMultinomialNB

私は行列（MatLabでは構造体と呼んでいると思います）またはデータ構造を持っています：

これが私のmatrix.dataで、matrixという名前のファイルをロードすると仮定したように見えます。

そして、これが私のmatrix.labelsのようになります

MatLabの既存の関数を使用せずに、10個のクロスフォールド検証を作成しようとしていますが、MatLabの知識が非常に限られているため、自分が持っているものから先に進むのに問題があります。どんな助けでも素晴らしいでしょう。

これは私がこれまでに持っているものであり、これはおそらくmatlabの方法ではないと確信していますが、私はmatlabに非常に慣れていません。

ベイジアン ネットワークを使用して、4 つのクラスの 5 分間の EEG データを分類しています。

相互検証を適用すると、100% 正しい結果が得られますが、別のファイルでトレーニングと提供されたテスト データ (トレーニングに最初の 3.7 分、テストに 1.3 分) を使用すると、非常に低い結果 (30%) が得られます。

私はWekaを初めて使用し、これがどのように可能かわかりません. どんな助けでも大歓迎です:)

SVMとROCについて学んでいます。私が知っているように、人々は通常、ROC (受信者動作特性) 曲線を使用して、SVM (サポート ベクター マシン) の分類能力を示すことができます。機能の 2 つのサブセットを比較するために同じ概念を使用できるかどうか疑問に思っています。

サブセット A とサブセット B という 2 つの特徴サブセットがあるとします。それらは、2 つの異なる特徴抽出方法 A と B によって同じトレーニング データから選択されます。LIBSVM を使用して、これら 2 つの特徴サブセットを使用して同じ SVM をトレーニングするとします。 svmtrain() 関数を使用して、両方の ROC 曲線をプロットします。分類能力を AUC 値で比較できますか? したがって、subsetB よりも subsetA の AUC 値が高い場合、メソッド A がメソッド B よりも優れていると結論付けることができますか? 意味がありますか？

どうもありがとうございました、

特定のファイルに関連付けられている 3 つの値があります。各ファイルは特定のファミリーに属しています。これらの 3 つの値で家族を識別できるかどうかを理解するために、Weka の「相互検証」を改善する必要があります。Weka で開く必要がある Csv ファイルまたは Arff ファイルを作成する手順はどれですか? 私のtxtにはこのフォーマットがあります。

File_Family_1 値 1、値 2、値 3

File_Family_1値 1、値 2、値 3

File_Family_2値 1、値 2、値 3

File_Family_2値 1、値 2、値 3

File_Family_3値 1、値 2、値 3

File_Family_3値 1、値 2、値 3