問題タブ [roberta-language-model]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - どのプログラム/インターフェースで次のコードを実行しますか?
機械学習/NLP のプロジェクトでは、roBERTa の github からいくつかのコードを見ています。同じ結果が得られるかどうかを確認し、自分のデータに合わせてプログラムを修正したかったのです。
ただし、次のコードを実行するためにどのプログラムをどのように/どこで/使用するかについてはわかりません。
複数のプログラム/ターミナル/jupyter を試しましたが、このコードを適切に実行する方法がわかりません。誰もそれを実行する方法を知っていますか? （最初の行などでディレクトリを変更する必要があることは理解していますが、今はエラーが発生するだけです。）
python - Tensorflow Dataset の入力として整数のリストを与える方法は?
テンソルフローを使用して、事前トレーニング済みの RoBERTa モデルを微調整/トレーニングしようとしています。このために、データフレームから tf.data.Dataset を作成する必要があります。
データフレームは次のようになります。
3 つのオプションはエンコードされた文字列で、答えはオプション A、B、または C に対応する整数です。
以下を使用して、これから tf.dataset を作成しようとします。
ただし、次のエラーが発生するため、これは機能しません。
ValueError: NumPy 配列を Tensor に変換できませんでした (サポートされていないオブジェクト タイプ リスト)。
リストを tf.dtype として使用できないことを読みましたが、ここに「float32」を配置しました。ただし、データフレーム内のリストをフロートに変換することもできません。
誰かが私たちを正しい方向に向けることができれば、とても感謝しています! 前もって感謝します！
bert-language-model - IndexError: 特別なトークンを追加した後、Roberta モデルを微調整しようとすると、自己のインデックスが範囲外になりました
トークナイザーにいくつかの特別なトークンを追加した後、Roberta モデルを微調整しようとしています。
モデルを (CPU 上で) トレーニングしようとすると、次のエラーが発生します。
psコメントadd_special_tokensすると、コードは機能します。