2 つの文が類似しているかどうかを識別するために BLEU スコアを計算する必要があります。主に機械翻訳精度を測定するための BLEU スコアに関する記事をいくつか読みましたが、文間の類似性を調べるために BLEU スコアが必要です。 a same language[English].(ie)(両方の文は英語です)。
12382 次
6 に答える
27
文レベルの比較には、平滑化された BLEU を使用します
機械翻訳の評価に使用される標準の BLEU スコア (BLEU:4) は、コーパス レベルでのみ意味があります。これは、少なくとも 1 つの 4 グラムの一致がない文には 0 のスコアが与えられるためです。
これは、本質的に、BLEU が実際には n グラム精度の幾何平均にすぎず、一致する素材を含む非常に短い文に不適切に高いスコアが与えられるのを防ぐために、簡潔さのペナルティによってスケーリングされるためです。幾何平均は、平均に含まれるすべての項を乗算することによって計算されるため、n-gram カウントのいずれかがゼロになると、スコア全体がゼロになります。
個々の文に BLEU を適用したい場合は、平滑化された BLEU ( Lin and Och 2004 - セクション 4 を参照) を使用する方がよいでしょう。これにより、n-gram 精度を計算する前に、n-gram カウントのそれぞれに 1 を追加します。 . これにより、n グラムの精度がゼロになるのを防ぐことができるため、4 グラムの一致がない場合でもゼロ以外の値になります。
Java 実装
スタンフォード機械翻訳パッケージPhrasalには、BLEU とスムーズな BLEU の両方の Java 実装があります。
代替案
Andreas が既に述べたように、Levenstein の string edit distanceなどの別のスコアリング メトリクスを使用することをお勧めします。ただし、従来のレーベンシュタイン文字列編集距離を使用して文を比較する際の問題の 1 つは、単語の境界を明示的に認識していないことです。
その他の代替手段は次のとおりです。
- Word Error Rate - これは基本的に、一連の文字ではなく一連の単語に適用されるレーベンシュタイン距離です。音声認識システムのスコアリングに広く使用されています。
- 翻訳編集率 (TER) - これは単語エラー率に似ていますが、隣接する単語やフレーズの追加のスワップ編集操作が可能です。このメトリックは、BLEU などの他の文の類似性測定よりも人間の判断との相関が高いため、機械翻訳コミュニティ内で人気を博しています。Translation Edit Rate Plus (TERp)として知られるこのメトリックの最新のバリアントでは、WordNet を使用した類義語の照合と、複数単語シーケンスの言い換え (「死んだ」~=「バケツを蹴った」) が可能です。
- METEOR - このメトリックは、最初に比較対象の 2 つの文の単語を任意に並べ替えることができる配置を計算します。文を整列する方法が複数ある場合、METEOR は交差する整列エッジを最小限に抑える方法を選択します。TERp と同様に、METEOR は WordNet のシノニムと複数単語シーケンスの言い換えのマッチングを可能にします。整列後、メトリクスは一致する単語の数を使用して 2 つの文の類似性を計算し、精度と再現率のバランスのとれた尺度であるF-α スコアを計算します。アライメント。
于 2011-03-23T17:56:00.737 に答える
4
于 2011-11-08T16:05:17.007 に答える
3
BLEU スコアを計算するだけなら簡単です。1 つの文を参照翻訳として扱い、もう 1 つの文を候補翻訳として扱います。
于 2011-03-22T15:56:40.630 に答える
1
おそらく、(Levenstein) 編集距離、またはハミング距離もオプションです。いずれにせよ、BLEU スコアもこの仕事に適しています。参照に対する1つの文の類似性を測定するため、問題のように同じ言語にある場合にのみ意味があります。
于 2011-03-22T23:08:55.570 に答える
0
複数の参照を使用できる Moses multi-bleu スクリプトを使用できます: https://github.com/moses-smt/mosesdecoder/blob/RELEASE-2.1.1/scripts/generic/multi-bleu.perl
于 2015-01-16T19:26:56.620 に答える