10

Weka Explorer (GUI) の場合、特定のARFFファイルに対して 10 倍の CV を実行すると、Weka Explorer が (私が見る限り) 提供するのは、10 倍すべての平均結果です。

Q.各フォールドの結果を取得する方法はありますか? たとえば、各フォールドのエラー率 (誤って識別されたインスタンス) が必要です。

助けていただければ幸いです。

4

2 に答える 2

16

これはWeka の GUI を使えば可能だと思います。ただし、Explorer の代わりに Experimenter を使用する必要があります。手順は次のとおりです。

  1. ExperimenterGUI セレクターから を開き ます
    • 新しい実験を作成します (Newボタン @ 右上)
    • [オプション]Results Destination結果を保存するファイル名と場所を入力します
    • Number of (cross-validation) foldsを好みに合わせて設定します (簡単な結果を得るには、2 つのフォールドで実験を開始してください)。
    • データセットを追加します (データセットに前処理が必要な場合は、最初に Explorer でこれを行ってから、前処理されたデータセットを保存する必要があります)。
    • を設定しますNumber of repetitions(最初は 1 をお勧めします)
    • テストするアルゴリズムを追加します (ここでも簡単に始めて、1 つのアルゴリズムから始めます)。
  2. Runタブと実験に移動し、Start終了するまで待ちます
  3. タブに移動し、(右上) Analyseをクリックして実験結果をインポートします。Experiment
    • 選択する場合Row:Fold
    • 選択の場合Column:Percent_incorrectまたはNumber_incorrect(または表示したいその他のメジャー)
    • 折り目ごとに指定された結果が表示されるようになりました
于 2012-06-03T10:44:13.820 に答える
4

交差検証オプションを使用する場合、Weka Explorer には個々のフォールドの結果を提供するオプションがありません。いくつかの回避策があります。明示的にコードを変更したくない場合は、手動でいじる必要がありますが、これにより多かれ少なかれ必要なものが得られると思います

  1. の代わりにCross-validation、選択Percentage splitして 90% に設定します。
  2. 分類子を開始
  3. 値をクリックして、以前に使用したことのない値にMore options...変更します。Random seed for XVal / % Split
  4. 10回繰り返します。

ただし、この方法で作成した疑似折り畳みは重複する可能性があるため、これは 10 分割交差検証と完全に同等ではありません。

交差検証と同等ですが、より面倒な代替手段は、教師なしインスタンス フィルターRemoveFoldsまたはを使用して手動で 10 回の折り畳みを行うことRemoveRangeです。10 個のトレーニング セットと 10 個のテスト セットを生成して保存します。次に、フォールドごとにトレーニング セットをロードし、[Supplied test set分類] タブで選択して、適切なテスト フォールドを選択します。

于 2012-06-02T13:01:22.767 に答える