-3

この点についてのアイデアをいただければ幸いです。問題を解決し、次のような答えを出すソフトウェア (制約充足法) があるとします。

100 % A がソリューションです。

100 % B がソリューションです。

70 % C が溶液です。

50 % D がソリューションです。

正解はCです。

最終的にすべての答えが私のシステムで考慮されることを想像してみてください。そのため、確実性は低くなりますが、正しい答えを思いつくことは依然として成果です. 100 未満の回答は破棄しません。ただし、適切な評価関数やエラー率の計算を見つけることが重要です。

システムのエラー率を計算するにはどうすればよいですか。

上記の例では、答えが A でも B でもないので、100 % のエラー率があると言えます。正解が B で B のみの場合はどうなるでしょうか。エラー率はどうなるでしょうか?

4

1 に答える 1

1

当然の方法は、すべての返信の平均誤差を計算することです。

平均絶対偏差 (MAD) を使用:

(|1-0| + |1-0| + |.7-1| + |.5-0|) / 4 = (1+1+.3+.5)/4 = 2.8/4 = 0.7

または平均二乗誤差 (MSE):

(|1-0|^2 + |1-0|^2 + |.7-1|^2 + |.5-0|^2) / 4 = (1+1+.09+.25)/4 = 2.34/4 = 0.585

どちらにも長所と短所があります。

(上記の例では の「正しい」ベクトルを使用していますが、たとえば を0 0 1 0使用して、たとえば「ABC D のいずれか」などの答えにすることもできます1 1 1 1。これらの値の合計が 1 またはいいえ)。同様に、正しい答えが 1 つだけであることがわかっている場合は、アルゴリズムの出力を正規化し、合計が 1 になるようにすることができます。あなたの例では、これは答えを に正規化し.3125 .3125 .21875 .15625、おそらくエラーが少なくなります。)

于 2012-08-15T22:33:28.527 に答える