私は現在、Huggingface トランスフォーマー ライブラリを利用したテキスト サマライザーに取り組んでいます。要約プロセスはオンプレミスで実行する必要があるため、次のコードがあります(ドキュメントに近い):
from transformers import BartTokenizer, BartForConditionalGeneration, BartConfig
model = BartForConditionalGeneration.from_pretrained('sshleifer/distilbart-cnn-6-6')
tokenizer = BartTokenizer.from_pretrained('sshleifer/distilbart-cnn-6-6')
inputs = tokenizer([myTextToSummarize], max_length=1024, return_tensors='pt')
summary_ids = model.generate(inputs['input_ids'], num_beams=4, early_stopping=True)
[tokenizer.decode(g, skip_special_tokens=True, clean_up_tokenization_spaces=False) for g in summary_ids]
私の問題は、モデルをメモリにロードできず、サーバーに と を直接使用できる API を公開させることができないことmodelですtokenizer。両方を最初のプロセスで初期化し、2 番目のプロセスで使用できるようにしたいと考えています ( HTTP API)。モデルをファイル システムにエクスポートできることはわかりましたが、ここでもアクセスできず (k8s 環境がロックされているため)、特定のデータベースに保存する必要があります。
データベースに格納可能な文字列/バッファ/何かとしてmodelと の両方をエクスポートすることは可能ですか?tokenizer
どうもありがとう