問題タブ [language-model]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
2 に答える
109 参照

tensorflow - TensorFlow - 次の単語の予測 - 損失関数 logit na ターゲット形状

言語モデルを作成しようとしています。私はlogitサイズのターゲットを持っています:[32, 312, 512]

どこ:

  • .shape[0]batch_size
  • .shape[1]sequence_max_len
  • .shape[2]vocabulary size

問題は、次のように損失関数logitに渡すときです。target

現在のバッチの適切な損失を計算しますか? または、次の形状を表現するために形状を変更するlogit必要があります: ?target[32, 312*512]

よろしくお願いします。

0 投票する
2 に答える
388 参照

deep-learning - サーバルの異なるバッグから単語を選択し、意味のある文を形成するディープ ラーニング モデルを構築する方法

バッグのイメージと選び方

10 個のバッグがあり、次々に注文したとします。つまり、バッグ 1 、バッグ 2 ......... バッグ n.

各バッグには異なる単語のセットがあります。

バッグが何であるかを理解するために、10,000 語の語彙があるとします。最初のバッグには、 Hello 、 India 、 Manager という単語が含まれています。

つまり、バッグ 1 は、バッグ内に存在する単語インデックスに 1 を持ちます。例: バッグ 1 は、Hello のインデックスが 1 の場合、サイズ 10000*1 になります インドのインデックスは 2 で、マネージャーのインデックスは 4 です [0 , 1, 1, 0 , 1 ,0,0,0,0..... ....]

※モデルはまだありません。*ストーリーブックを使おうと思っていますが、まだ抽象的です。

各バッグから単語を選択し、単語 1 (バッグ 1 の単語)、単語 2 (バッグ 2 の単語) を割り当て、番号順に意味のある文を形成する必要があります。