問題タブ [cross-validation]

だから私は少し前に同様の問題を抱えていて、誰かが私にデータセットを減らすように提案しました。最初は 1664 個の変数がありましたが、現在は 153 個しかありません。153 個の記述子に対して、保持時間と呼ばれる従属変数間の一般的な線形モデルをプロットしようとしています。記述子に対する保持時間の例が 160 あるので、160 x 153 のデータセットです。次に、モデルに対して 5 倍の交差検証を実行して精度を確認し、後で予測保持時間を実験保持時間プロットにプロットします。これを行うためにCVtoolsを使用しています。

ただし、メッセージが表示されます：-

と続きます。データが共線的であることが原因である可能性があることをどこかで読みました。その場合は PCA を実行することにしましたが、コンポーネントを一緒にプロットした後、それらがすべて異なる方向を向いていることがわかりました。これは、それらが同一直線上にないことを示唆しています。

誰が何が起こっているのか、どこが間違っているのか理解できますか? 使用しているデータベースのごく一部をコピーして貼り付けました。だから私は RT (秒) 対 76_TI2、114_DECC、およびすべての 160 ケースの他のすべての 151 記述子をプロットし、クロス検証を実行しようとしています。

次の問題で困っています。データを 10 分割します。毎回、1 倍をテスト セットとして使用し、残りの 9 倍をトレーニング セットとして使用します (これを 10 回行います)。各トレーニング セットで、特徴選択 (chi.squared によるフィルター メソッド) を行い、トレーニング セットと選択した特徴を使用して SVMmodel を作成します。
最終的には、10 種類のモデルになります (機能の選択のため)。しかし今、私は一般的にこのフィルターメソッドから R で ROC 曲線を作成したいと考えています。これどうやってするの？

シルケ

予測を行うためにしばらくの間、MATLAB LIBSVM に取り組んでいます。75% をトレーニングに使用し、15% を最適なパラメーターを見つけてテストに使用するデータセットがあります。コードを以下に示します。

ここでの私の質問は、これが正しいかどうかです。c と g の値が異なるモデル マトリックスを作成しています。ここでキーとなる -v オプションを使用します。予測されたモデルから、予測のために検証データセットを使用し、平均二乗誤差を計算します。この MSE を使用して、最適な c と g を選択します。クロス検証された出力を返す -v を使用しているため、従う手順は正しいですか?

161 個の観測値を持つ 151 個の変数を含むデータ セットに対して、次の操作を実行しました。

そして、次の結果を得ました： -

私がやりたいのは、予測結果を実際の実験結果と比較することです。そのため、2 つのグラフを相互にプロットして、それらがどれほど類似しているかを示すことができます。cvpred ではなく、Predicted 行の値を予測結果として使用することでこれを行うと思いますか?

キャレットパッケージでまったく同じことを実行したときに、予測値と観測値が互いにはるかに異なることが判明したため、これを尋ねるだけです:-

library(caret) ctrl <- trainControl(method = "cv", savePred=T, classProb=T) mod <- train(RT..seconds.~., data=cadets, method = "lm", trControl = ctrl) mod$pred

最初は 1664 個の変数から開始し、ランダム フォレストを使用してモデルを減らしたため、モデルはこのように不正確であってはなりません。変数の重要度が 1 より大きい変数のみが使用され、データセットが 162 * 1664 から 162 に大幅に減少しました。 * 151.

誰かが私にこれを説明できたら、私は感謝します、ありがとう