問題タブ [gpt-2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
tensorflow - Tensorflow には、GPT 2 Git リリースに属性「並べ替え」がありませんか?
git リポジトリ ( https://github.com/openai/gpt-2 )をダウンロードし、(DEVELOPERS.MD にある) python3 の指示に従って Kubuntu 18.04LTS ボックスにインストールしましたが、実行できず、代わりにエラーが発生しました。 .
これが私がこれまでに行ったことです：
次に実行しました：
これはエラーで最高潮に達します: AttributeError: module 'tensorflow' has no attribute 'sort'.
これは奇妙で、どうすればよいかわかりません。手順に従ってインストールが成功すると思っていましたが、そうではないようです。
アンインストールして再インストールしても最終結果に影響はありませんか? tensorflow で GPT-II を実行するにはどうすればよいですか?
python - GPT-2 BPE トークナイザーへのトークンの追加
BPE トークナイザーに新しい単語を追加したいと考えています。記号 Ġ は新しいトークンの終わりを意味し、事前トレーニング済みのトークナイザーの語彙のトークンの大部分は Ġ で始まることを知っています。Salahという単語をトークナイザーに追加したいとします。SalahトークンとĠSalahの両方を追加しようとしました: tokenizer.add_tokens(['Salah', 'ĠSalah']) # それぞれ 50265 と 50266 の値を取得します。ただし、 Salahが表示される文をトークン化すると、トークナイザーは 2 番目の数字を返しません ( .tokenizenorを使用した.encode場合)。たとえば、
return . 問題は、記号を使用する必要があるかどうかです。tokenizer.tokenize('I love Salah and salad')['I', 'Ġlove', 'Salah', 'Ġand', 'Ġsalad']Ġ新しいトークンを追加するとき、またはトークナイザーはそれ自体を行いますか? それとも、おそらく、手動で指定する必要がありますか? 前もって感謝します！