問題タブ [simpletransformers]

仕事のプロジェクトにsimpletransformers ( https://github.com/ThilinaRajapakse/simpletransformers ) を使用しています。モデルをトレーニングした後、出力フォルダーに大量のファイルがダンプされます。新しいデータに対してすぐに実行できるように、以前にトレーニングされたモデル (出力フォルダーに保存されていると思います) をロードしたい場合、どうすればよいでしょうか? 出力フォルダー内のファイルの画像

scikit-learn を使用すると、モデルを json に簡単にエクスポートして、再度読み込むことができます。これには同様のプロセスがあるのではないかと思いました。

Google Cloud Platform にモデルをデプロイしようとしています。しかし、私はバケットを作成し、実行したドキュメントで指定されているのと同じ問題に遭遇しています:

しかし、同じ理由で、モデルの同じバケットで入力ファイルが見つかりません。だから私は別の質問の指示に従いました。input.json をメインディレクトリにコピーしようとしましたが、他の理由でjsonをjsonファイルとして分類していません...

実際には、モデルは simpletransformers と呼ばれるライブラリを使用して作成されました。これをインストールしてテストしましたが、成功しませんでした。どのように進めるのが最善なのか知りたいですか？

入力.json:

金融ニュース データセットで BERT を微調整しています。残念ながら、BERT は極小値にとらわれているようです。常に同じクラスを予測する学習で満足です。

• データセットのバランス調整が機能しませんでした
• チューニングパラメータも機能しませんでした

正直なところ、何がこの問題を引き起こしているのかわかりません。simpletransformers ライブラリを使用すると、非常に良い結果が得られます。誰かが私を助けてくれたら本当にありがたいです。どうもありがとう！

github の完全なコード: https://github.com/Bene939/BERT_News_Sentiment_Classifier

コード：

colab で simpletransformers モデルを使用してトランスフォーマーをトレーニングし、シリアル化されたモデルをダウンロードしましたが、それを使用して推論を行う際に問題はほとんどありません。モデルをjupyterのモデルにロードすると機能しますが、fastapiで使用するとエラーが発生しますこれは私がjupyterで使用している方法です:

次の結果が得られます: array([[0.00230123, 0.97465035, 0.00475409, 0.01829433]])

次のように fastapi を使用しようとしましたが、エラーが発生し続けます。

単純なトランスフォーマー Roberta モデルを使用して分類を行うサービスを実行しようとしています。推論スクリプト/関数自体は、テスト時に期待どおりに機能しています。それを高速APIに含めると、サーバーがシャットダウンします。

エラー ：

推論スクリプト:

更新：フラスコで試してみましたが、サービスは機能していますが、フラスコの上にuvicornを追加すると、再起動のループでスタックします。