問題タブ [gpt-2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
107 問題
0
投票する
1
に答える
163
参照
python - gpt-2 が文字列をトークン化する方法を理解する
こちらのチュートリアルを使用して、次のコードを作成しました。
したがって、「入力」は、私の文のトークン化された項目で構成されていることに気付きました。しかし、トークン化されたアイテムの値を取得するにはどうすればよいでしょうか? (たとえば [「こんにちは」、「、」、「私の」、「犬」、「は」、「かわいい」] を参照)
その単語が辞書にない場合（つまり、別の言語の単語）、単語を区切ると思うことがあるので、これを尋ねています。だから私は自分のコードでそれをチェックしたい。
0
投票する
1
に答える
40
参照
huggingface-transformers - 「トレーニングされていない」gpt モデル フォルダーはありますか?
クレイジーな質問かもしれませんが、gpt-2 モデル フレームワークをダウンロードしたいのですが、重みをランダムに初期化したいのです。そのため、reddit コンテンツ (json、vocab、メタ & インデックス ファイルなどを含む) でモデルを微調整する必要があるかのように。これは可能ですか？
敬具！