問題タブ [huggingface-tokenizers]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
huggingface-transformers - Huggingface Transformer のエクスポート トークナイザーとモデル
私は現在、Huggingface トランスフォーマー ライブラリを利用したテキスト サマライザーに取り組んでいます。要約プロセスはオンプレミスで実行する必要があるため、次のコードがあります(ドキュメントに近い):
私の問題は、モデルをメモリにロードできず、サーバーに と を直接使用できる API を公開させることができないことmodelですtokenizer。両方を最初のプロセスで初期化し、2 番目のプロセスで使用できるようにしたいと考えています ( HTTP API)。モデルをファイル システムにエクスポートできることはわかりましたが、ここでもアクセスできず (k8s 環境がロックされているため)、特定のデータベースに保存する必要があります。
データベースに格納可能な文字列/バッファ/何かとしてmodelと の両方をエクスポートすることは可能ですか?tokenizer
どうもありがとう
python - huggingface パイプライン: bert NER タスクが RuntimeError をスローします: テンソル a (921) のサイズは、非シングルトン次元 1 でテンソル b (512) のサイズと一致する必要があります
ハギングフェイス パイプラインを介して bert で事前トレーニングされたドイツ語の ner をセットアップしようとしています。一部のテキストでは、次のコードはエラー「RuntimeError: The size of tensor a (921) must match the size of tensor b (512) at non-singleton dimension 1」を「ner = classifier(text)」行に対してスローします。
私はすでにstackoverflowでいくつかの調査を行いましたが、これは私が見つけた最も類似した問題です:テンソルaのサイズ(707)は、非シングルトン次元1でテンソルbのサイズ(512)と一致する必要があります
ソリューションは良さそうですが、huggingface パイプラインを使用しているときに、これらの設定をどこで指定できるかわかりません。コードを正しく動作させるには、コードで何を変更する必要がありますか?
ありがとう！