問題タブ [huggingface-tokenizers]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
242 問題
0
投票する
3
に答える
11584
参照
huggingface-transformers - ハグフェイスセービングトークナイザー
インターネットへのアクセスを必要としないコンテナーから後でロードできるように、トークナイザーを huggingface に保存しようとしています。
ただし、最後の行でエラーが発生しています。
トランスフォーマーのバージョン: 3.1.0
残念ながら、Pytorch で事前トレーニングされたモデルから保存されたトークナイザーをロードする方法は役に立ちませんでした。
編集 1
以下の@ashwinの回答のおかげsave_pretrainedで、代わりに試してみましたが、次のエラーが発生しました。
トークナイザー フォルダーの内容は次のとおりです。
に名前を変更しようとtokenizer_config.jsonしconfig.jsonましたが、エラーが発生しました：