ノイズ コントラスト推定についての私の理解では、単語の埋め込み (ネガティブ サンプル) からいくつかのベクトルをサンプリングし、それぞれの対数尤度を計算します。次に、ターゲット ワードの確率と各ネガティブ サンプル ワードの対数尤度の差を最大化します (したがって、これが正しければ、損失関数を最適化して、可能な限り 1)。
私の質問はこれです：
関数のnum_classesパラメーターの目的は何ですか? nce_loss私の最善の推測では、クラスの数が渡されるため、Tensorflow は負のサンプルが抽出された分布のサイズを認識しますが、変数自体から分布のサイズを推測できるため、これは意味をなさない可能性があります。 . そうでなければ、特に言語モデルが k + 1 個の予測 (対象単語の負のサンプル サイズ + 1) しか出力しない場合、可能なクラスの総数を知る必要がある理由が思いつきません。