問題タブ [gpt-2]

GPT2 カスタム チャットボットのシングル インタラクション。この実装ではスレッドを使用していませんが、「multiprocessing_chunksize」と表示されています。ここでは、gpt2 を使用してチャットボットを構築し、カスタムの日付セット (タイプ: ペルソナ) によってトレーニングされたカスタム モデルと対話しようとします。

そのため、現在、テキスト生成のために Tensorflow で実行されている GPT2 を使用しています。私はこのレポを具体的に扱っています。私は最近、CUDA と cudnn をインストールして GPU 機能を改善することに決め、これらの手順に従ってインストールしました。現在、GPU に NVIDIA Geforce GTX 1650 を搭載した Windows 10 x64 を使用しており、コマンド プロンプト ターミナルを使用しています。できる限り指示に従いました。適切な GPU ドライバーをダウンロードし、環境変数を設定し、cudnn ファイルを必要な場所にコピーしました。インストールが完了したら、トレーニングしたモデルを使用して無条件のサンプルを生成しようとしましたが、次のようになりました。

なぜこれが起こっているのかわからなかったので、cudnn ファイルを間違ってインストールしたと考えました。少しいじって、 c:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\bin から cudnn64_8.dll を削除すると、コピーするように言われ、無条件のサンプルを実行すると、GPT2 が機能することがわかりました。問題なく、いくつかのテキストを生成できました。他のすべての cudnn ファイルは、まだ CUDA ディレクトリにありました。cudnn64_8.dll を含めると問題が発生する理由がわかりません。間違ったバージョンの CUDA をインストールしましたか? ここで何が起こっているのですか？

編集：

そこでTF_GPU_ALLOCATOR=cuda_malloc_async、端末が上記で提案したように、環境変数に追加することにしました。今回は前回のようなOOMエラーにはなりませんでしたが、プログラムも終了してしまいました。結果は次のとおりです。

ここで私は正確に何を間違っていますか？GPU のメモリが不足しているのはなぜですか?

公式のgithub リポジトリの指示に従って GPT2 をインストールしようとしIlligal hardware instructionたときに、使用しようとするとエラーが発生しました。
つまり、M1 pro チップで GPT2 を試すことさえ考えるべきではないことを意味します
(ただし、tensorflow をインストールするために使用する python と pip のバージョンがわからないため、手順は不完全ですが、tensorflow 1.12.0 が必要であると表示されているだけなので、 、公式のテンソルフローWebサイトから、そこの指示からドットを接続することにより、python3.8が必要であり、MacOSを持っているため）。
この行き止まりの後、この美しいオープン ソース ML モデルをあきらめる前に、Apple の公式github ページで発見しましたMacOS 用に最適化された tensorflow バージョンがあり、M1 Pro CPU が持つ 16 個の Neural-Engine コアを利用することもできます。（GPUサポートがあれば誰も気にしません）
唯一の問題は、今回のテンソルフローがバージョン管理された2.Xであり、GPT2が1.12.0を使用していることです.2.Xバージョン
であっても、Appleが下位互換性を気にするとは思いません.彼らの github はアーカイブされてお​​り、読み取り専用です。そのため、パッケージが削除され
たという 2 つのバージョン間の問題について期待できる意図はありません。ここで（今日まで） 最高評価の回答は、「新しい場所を知るために tf.contrib 部分のないモジュールの名前をグーグルで検索し、インポートステートメントを修正してそれに応じてコードを移行すること」を提案しています。contrib

これで、tensorflowのgithub リポジトリ にある contrib パッケージにアクセスできるようになったので、グーグルで検索する必要はないと思います。
この時点での最初のエラーは、model.py の 6 行目です。単純にgithub のリポジトリfrom tensorflow.contrib.training import HParams からダウンロードしてGPT2 に貼り付けました 。HParams.py が要求するまで、同じトリックを繰り返し続けることを考えていました: hparam_pb2 はどこにも存在しないため、誰かが同じ問題で実行している場合、*_pb2.py でこの拡張ファイルを見つける方法がわかりません。 次のことを親切にアドバイスしてください。src
from tensorflow.contrib.training.python.training import hparam_pb2

実行 1

出力：

実行 2

出力：

カスタム モデルは常に同じ出力を返します。ただし、do_sampling = True株式では、model.generate呼び出しごとに異なる結果が返されます。do_sampling がトランスフォーマーでどのように機能するかを理解するのに多くの時間を費やしたので、皆さんの助けが必要です。

呼び出しごとに異なる結果が得られるようにカスタム モデルをコーディングする方法は?

ありがとう！