nlp - 「英語の孤立した記号確率」の意味は何ですか

Question

メモで私はこのフレーズを見つけました：

英語の孤立した記号確率を使用して、言語のエントロピーを見つけることができます。

「孤立したシンボル確率」とは実際にはどういう意味ですか？これは、情報源のエントロピーに関連しています。

Answer 1

メモがどこから来たのか、文脈が何であるかを知ることは役に立ちますが、それがなくても、これは単に個々の記号 (文字など) の頻度をエントロピーの基礎として使用していることを意味していると確信しています。(文字シーケンスの)同時確率、または(ある特定の文字が別の文字に続く)条件付き確率。

したがって、アルファベット X={a,b,c,...,z} と、各文字がテキストに出現する確率 P(a), P(b),... がある場合 (たとえば、頻度に基づいて)データの例に見られる)、各文字 x について個別に -P(x) * log(P(x)) を計算し、すべての合計を取ることによってエントロピーを計算します。次に、明らかに、コンテキスト内の各文字の確率ではなく、孤立した各文字の確率を使用したことになります。

ただし、見つけたメモの記号という用語は、必ずしも文字を指すとは限らないことに注意してください。単語またはテキストの他の単位を参照する場合があります。それにもかかわらず、彼らが主張しているのは、エントロピーの古典的な式を、複雑なイベントまたは条件付きイベントの確率ではなく、個々のイベント(文字、単語など)の確率に適用するということです。