performance - Rapidminer を使用してテストセットをテストするには?

Question

Rapidminer を使用して分析を行っています。いくつかのモデルでクロス検証を使用して、最適なモデルを取得しました。ここで、このモデルを使用して、Split Data を使用して作成した別のテストセットでテストし、パフォーマンスを推定したいと考えています。

お試しセットの使い方は？私が知る限り、すべての検証モジュールは、モデルが作成されたトレーニング セットを使用しています。モデルとテスト セットを取り込んで、どのパフォーマンス メジャーを使用できますか?

Answer 1

モデルを最初の入力として、テスト セットを 2 番目の入力として、"Apply Model" 演算子を使用します。この演算子は、予測や信頼などの特別な属性を追加したデータ入力であるラベル付きデータセットを返します。"Performance" オペレーターは、テスト セットに適用されたモデルのパフォーマンスを測定するために、この属性を必要とします。

「Samples」リポジトリのトレーニングとテスト セットを使用する小さな例を次に示します。

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<process version="5.3.007">
  <context>
    <input/>
    <output/>
    <macros/>
  </context>
  <operator activated="true" class="process" compatibility="5.3.007" expanded="true" name="Process">
    <process expanded="true">
      <operator activated="true" class="retrieve" compatibility="5.3.007" expanded="true" height="60" name="Golf" width="90" x="45" y="30">
        <parameter key="repository_entry" value="//Samples/data/Golf"/>
      </operator>
      <operator activated="true" class="decision_tree" compatibility="5.3.007" expanded="true" height="76" name="Decision Tree" width="90" x="179" y="30"/>
      <operator activated="true" class="retrieve" compatibility="5.3.007" expanded="true" height="60" name="Golf-Testset" width="90" x="179" y="120">
        <parameter key="repository_entry" value="//Samples/data/Golf-Testset"/>
      </operator>
      <operator activated="true" breakpoints="before,after" class="apply_model" compatibility="5.3.007" expanded="true" height="76" name="Apply Model" width="90" x="313" y="30">
        <list key="application_parameters"/>
      </operator>
      <operator activated="true" class="performance" compatibility="5.3.007" expanded="true" height="76" name="Performance" width="90" x="447" y="30"/>
      <connect from_op="Golf" from_port="output" to_op="Decision Tree" to_port="training set"/>
      <connect from_op="Decision Tree" from_port="model" to_op="Apply Model" to_port="model"/>
      <connect from_op="Golf-Testset" from_port="output" to_op="Apply Model" to_port="unlabelled data"/>
      <connect from_op="Apply Model" from_port="labelled data" to_op="Performance" to_port="labelled data"/>
      <connect from_op="Performance" from_port="performance" to_port="result 1"/>
      <portSpacing port="source_input 1" spacing="0"/>
      <portSpacing port="sink_result 1" spacing="0"/>
      <portSpacing port="sink_result 2" spacing="0"/>
    </process>
  </operator>
</process>