問題タブ [huggingface-tokenizers]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 微調整されたモデルの出力をテキストにデコードするにはどうすればよいですか?
機械翻訳モデルを微調整し、トレーニング中に保存された pytorch_model.bin モデル チェックポイントを読み込んで単語の翻訳を予測しようとしています。Transformers.modeling_outputs.Seq2SeqModelOutput から通常のテキストに変換するにはどうすればよいですか?
python - トレーニング中の Huggingface エラー: AttributeError: 'str' オブジェクトに属性 'size' がありません
GPT2LMHeadModelPytorch Lightning を使用してカジュアルな言語モデリング (与えられた一連の単語から次の単語を予測する) 用に Huggingface モデルを微調整しようとすると、トレーニング中にエラーが発生します。
AttributeError: 'str' オブジェクトには属性 'size' がありません
トレーニング コードの何が問題だったのでしょうか? DataCollatorForLanguageModelingこれは Pytorch での間違った使用によるものDataLoaderですか?
再現可能な例:
エラー トレースバック:
コンダパッケージ: