問題タブ [openai]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 「エラー: 要件 pandas>=1.2.3 を満たすバージョンが見つかりませんでした」
Pythonでこのエラーを修正するには?
エラー: pandas>=1.2.3 の要件を満たすバージョンが見つかりませんでした
どうもありがとう。
utf-8 - 微調整後の OpenAI 予測に関するエンコードの問題
微調整に関するこの OpenAI チュートリアルに従っています。
openai ツールで既にデータセットを生成しました。問題は、出力エンコーディング (推論結果) で UTF-8 と非 UTF-8 文字が混在していることです。
生成されたモデルは次のようになります。
たとえば、「¿Cómo estás?」と聞いたら、その文には訓練された補完があります: "Estoy bien, ¿y tú?", 推論はしばしばまったく同じものを返します (これは良いことです), 時々それは非エンコードされた単語を追加します: "Estoy bien, ¿y tú? Cuà ©ntame algo de ti」、「é」の代わりに「é」を追加。
場合によっては、トレーニングされたのとまったく同じ文が返されることがありますが、エンコードの問題はありません。推論がエンコードされていない文字をモデルから取得しているのか、他の場所から取得しているのかわかりません。
私は何をすべきか？データセットを UTF-8 でエンコードする必要がありますか? データセットを UTF-8 のままにして、応答で不正なエンコードされた文字をデコードする必要がありますか?
微調整のための OpenAI ドキュメントには、エンコーディングについては何も含まれていません。
nlp - GPT2 の事前トレーニング済みの重みを微調整する
私は次のレポ https://github.com/kingoflolz/mesh-transformer-jaxに従ってGPTJ-6Bモデルansに取り組んでいます
新しい小さなデータセットに基づいて、転移学習を適用し、最後のいくつかのレイヤーをトレーニングしたいと思います。このリポジトリまたは他の gpt モデルに転移学習を適用した人はいますか?