問題タブ [gpt-2]

「オンザフライ」のトークン化について質問があります。この質問は、「Transformers と Tokenizers を使用してゼロから新しい言語モデルをトレーニングする方法」を読むことで引き出されました。最後に、「データセットが非常に大きい場合は、前処理ステップとしてではなく、その場でサンプルを読み込んでトークン化することを選択できます」という文があります。datasetsと の両方を組み合わせたソリューションを考えてみましたがtokenizers、適切なパターンを見つけることができませんでした。

このソリューションでは、データセットを Pytorch データセットにラップする必要があると思います。

ドキュメントの具体例として

トークナイザーのベクトル化された機能を利用する「オンザフライ」トークン化でこれをどのように実装しますか?

自分のテキストを使用して ditilgpt2 モデルを微調整しました。run_language_modeling.pyトレーニングとrun_generation.pyスクリプトが期待される結果を生成した後、正常に動作します。

これを Tensorflow Lite モデルに変換したいので、次を使用してそれを行いました

しかし、私が書くとき、変換後のようにこれを正しくやっているとは思いません

私は得る

しかし、私はまだ次を使用してTFLite変換を進めました:

しかし、動作せず、生成されたtfliteモデルを使用するとエラーが発生します:

テンソルフロー/ライト/カーネル/kernel_util.cc:249 d1 == d2 || d1 == 1 || d2 == 1 は真ではありませんでした。

これは、モデルが適切に変換されずNone、入力/出力が得られないことに関係していると確信しています。

誰でもこれを修正する方法を知っていますか?

ありがとう

このデモの結果を複製しようとしています。このデモの作者は、次のテキストだけで GPT-3 を準備しています。

Huggingface Transformer 経由で GPT-2 にしかアクセスできません。上記の例を複製するために、Huggingface で GPT-2 large を準備するにはどうすればよいですか? 問題は、このでは、入力と対応する出力を別々に準備できないことです (GPT-3 デモの作成者が上記で行ったように)。

同様に、このチュートリアルでは Huggingface の使用について説明していますが、入力と出力の例を使用してどのように準備できるかを明確に示す例はありません。

誰もこれを行う方法を知っていますか?

望ましい出力: GPT-2 を使用して、入力「ポテト」に対して出力「皮をむき、スライスし、調理し、マッシュし、焼く」のようなものを返します (GPT-3 デモのように: https://www.buildgpt3.com/post /41/ )。明らかに、GPT-2 と GPT-3 は同一のモデルではないため、出力動詞の正確なリストは同じではありません。