nlp - オラクルの実験とは？

Question

機械学習に関する論文を読みましたが、その論文には彼の研究と別の研究を比較するオラクルの実験が含まれていますか? しかし、オラクルの実験とは何なのか、あまり明確ではないようです。

Answer 1

「オラクル」とは、常に正しい答えを返す想像上の存在です。オラクルの実験は、実際のシステムと、システムの一部のコンポーネントが常に正しいことを行った場合のシステムの動作を比較するために使用されます。

たとえば、NLP ドメインで、品詞 (POS) タグ付きの文を入力として受け取るパーサーを作成したとします。現実の世界では、実際の POS タガーを介して実際の文を実行する必要があります。このタガーは、おそらく 90% を超える精度で結果を生成しますが、100% 未満です。パーサーの精度は受信タグの精度に依存するため、パーサーのパフォーマンスはこの損失によって悪影響を受けます。

POS タガーが完全である場合にパーサーがどの程度うまく機能するかを確認するために、オラクル タガーを使用して実験を実行できます。この実験では、実際の POS タガーを、文の実際の POS タグを認識するプログラムに置き換えて、常に 100% の精度でタグ結果を返します。

したがって、パーサーが実際のタガーを使用した実験で 85% の精度を達成し、Oracle タガーを使用した実験で 90% の精度を達成した場合、パフォーマンスの低下の 5% はタガーのミスが直接の原因であることがわかります。