問題タブ [openai]

群れ環境のリセット条件（gym-flockから）を理解しようとしているときに、この質問を思いつきました.「Falseを返す」とTrueを返すことはできますか??

コアコードは次のとおりです。

1: https://github.com/katetolstaya/multiagent_gnn_policies#available-algorithmsの test_model.py

2: ジム環境コード: https://github.com/katetolstaya/gym-flock/tree/stable/gym_flock/envs/flockingの flocking_relative.py

test_model.py の while ループが env を壊してリセットするためには、ある時点で done を True にする必要があります。ただし、env.step(コード パート 2) のコードは、done の代わりに常に False を返します。

env.step が常に False を返す場合、このループはどのように壊れますか? このコードが正常に機能することをテストして確認しましたが、その方法を理解するのに苦労しています。

RLとジムの経験者である私を助けてください よろしくお願いします

GPT-2 に基づいて Web アプリケーションをコーディングしていましたが、うまくいかなかったため、公式の OpenAI GPT-3 に切り替えることにしました。だから私はその要求をします：

そして、応答を印刷すると、次のようになります。

しかし、テキストのみを印刷したいので、応答リストに「テキスト」値を印刷するにはどうすればよいですか。よろしくお願いします。良い一日を。

簡単に言えば、カスタムのopenAIジム環境用のPythonコードがいくつか与えられました。コマンドラインから ExperimentGrid を介してコードを正常に実行できますが、スクリプトを呼び出すのではなく、Jupyter ノートブック内から実験全体を実行できるようにしたいと考えています。これは、今後行ういくつかの実験にとってより便利です。

私の質問: Jupyter Notebook 内から完全にカスタムOpenAI ジム環境で実験を実行することは可能ですか? Jupyter からジムの標準環境 (SpaceInvaders-v0 や CartPole-v0 など) を実行している例をたくさん見てきましたが、それでも、彼らは環境を次のように呼び出しています。

基本的に、その環境のスクリプトを舞台裏で実行します。

以下は、コマンド ラインから実行するようにコードをセットアップする方法と、Jupyter で発生するエラーの基本的な説明です。

アドバイスをいただければ幸いです。私は確かに、Gym、Python、および Linux の初心者です。

私の基本的な環境コードは、たとえば envs/mygames/Custom_Env.py で次のように構成されています。

mygames/__ init__.py で、Shell_Class をインポートします。

envs/__ init__.py で、環境を登録しました

最後に、このコードを含むスクリプトをコマンド ラインから実行すると、実験は問題なく動作します。

私のジュピターの試み

Custom_env.py のすべてのコードをセル #1 に配置しました。次に、セル #2 に環境を登録しました。

この Q/A: Register gym environment that is defined within a jupyter notebook cell に基づいて、セル #3 で環境を作成します。

この説明のない出力を取得します。

<TimeLimit<Shell_Class< TEST-v1 >>>

セル #4 では、次のように Jupyter 内で直接 ExperimentGrid コードを実行しようとしました。

実験は通常どおり開始されますが、何らかのエラーが発生します。

Triton と呼ばれる OpenAI の新しい Python 拡張機能を紹介するこのブログでは、なぜ Triton が pytorch よりも速く行列計算を実行できるのかについて説明しています (Triton を使用して m x n 行列の行に沿って Softmax を計算する方法の例を参照しています)。

重要なことに、softmax のこの特定の実装では、正規化プロセス全体を通じて X の行が SRAM に保持されるため、該当する場合はデータの再利用が最大化されます (~<32K 列)。これは、PyTorch の内部 CUDA コードとは異なります。一時メモリを使用すると、より一般的になりますが、大幅に遅くなります (下記)。ここでの結論は、Triton が本質的に優れているということではなく、汎用ライブラリに見られるものよりもはるかに高速な専用カーネルの開発を簡素化するということです。

1. pytorch はどのようにデバイス テンソルにメモリを割り当てますか? ここで言及されている「一時メモリ」とは何ですか? この一時メモリの使用はより一般的ですが、SRAM の使用より遅いのはなぜですか?
2. ここでのSRAMはキャッシュメモリを指していますか? もしそうなら、このライブラリはpytorchの内部よりもキャッシュメモリをどのように/なぜうまく利用するのですか? 私の理解では、どのデータをキャッシュするかについての決定は、ほとんどソフトウェアではなくハードウェア次第です。