ハギングフェイス パイプラインを介して bert で事前トレーニングされたドイツ語の ner をセットアップしようとしています。一部のテキストでは、次のコードはエラー「RuntimeError: The size of tensor a (921) must match the size of tensor b (512) at non-singleton dimension 1」を「ner = classifier(text)」行に対してスローします。
私はすでにstackoverflowでいくつかの調査を行いましたが、これは私が見つけた最も類似した問題です:テンソルaのサイズ(707)は、非シングルトン次元1でテンソルbのサイズ(512)と一致する必要があります
ソリューションは良さそうですが、huggingface パイプラインを使用しているときに、これらの設定をどこで指定できるかわかりません。コードを正しく動作させるには、コードで何を変更する必要がありますか?
ありがとう！
from transformers import pipeline
classifier = pipeline('ner', model="fhswf/bert_de_ner", grouped_entities=True)
text = (dic[pi].text)
ner = classifier(text)