問題タブ [dqn]

エージェントが到着要求を最適な仮想マシンに割り当てるリソース割り当てに DQN を使用しています。次のように Cartpole コードを変更しています。

Cartpole は、Q ネットワークの入力が環境によって与えられると述べています。

問題は、私のコードでは、Q ネットワークの入力は何ですか? エージェントは到着要求のサイズに基づいて可能な限り最善のアクションを実行する必要がありますが、これは環境によって与えられません。この入力値、サイズを Q ネットワークに供給しますか?

DQN エージェントがあります。このエージェントは、その位置を示す数値と、多数のユーザーからの要求を示す 2D 配列で構成される状態を受け取ります。

ニューラル ネットワークを設計する私の試みは、ここで説明したとおりです。

モデルの概要

問題は今 model.predict() メソッドにあり、次のように書かれています:

メソッドで：

状態が可能な場所 (agentPosition, [[1, 0, 0], [0, 0, 0], [0, 1, 0], ...])

たとえば、11 人のユーザーがいる場合、状態の形状は (2, (11, 3)) です (これは、要求の 2D 配列の行数に等しい)。

エラーは言う：

代わりに、次のように書きます。

その場合、エラーは異なります。

編集:受け入れられた解決策に示されているとおりに実行しましたが、次のエラーが発生します:

はこのstate[1]ようなタプルです ((1, 0, 0), (0, 1, 0), ...)

の形np.array(state[0])は()です。の形状np.array(state[1])は (11, 3) です。

私が書く場合：

エラーが発生します：

最近、深層学習と強化学習について学び始めました。10 行 3 列の 0 と 1 の行列に対して Keras を使用して畳み込みニューラル ネットワークをコーディングする方法を理解しようとしています。

入力行列は、たとえば次のようになります

出力は、前述の入力行列とは異なり、行と列の数が異なる、0 と 1 の別の行列である必要があります。

出力行列の 0 と 1 の位置は、入力行列の 0 と 1 の位置に依存します。

2 番目の出力もあり、値は入力行列の 1 の位置に依存する配列です。

インターネットでコード例を検索しましたが、役に立つものは見つかりませんでした。

編集：

ニューラル ネットワークへの入力は、10 行の 2D 配列で、各行には 3 列があります。出力 (少なくとも今のところ) は 12 行の 2D 配列で、各行には 10 列 (入力 2D 配列の行数と同じ) があります。

これは私がこれまでに思いついたことであり、それが正しいかどうかはわかりません。

モデルの概要は次のとおりです。