問題タブ [generalization]

自律飛行のために、モデルベースの単一エージェント強化学習アプローチを使用しています。

このプロジェクトでは、シミュレータを使用してトレーニング データ (状態、アクション、終了状態) を収集し、Locally Weighted Linear RegressionアルゴリズムがMODEL.

はSTATEベクトルによって定義されます:[Pitch , Yaw , Roll , Acceleration]空間内のドローンの位置を定義します。に与えられると、POLICYもう1つの機能があります[WantedTrajectory]

ACTIONもベクトルによって定義されます。[PowerOfMotor1 , PowerOfMotor2 , PowerOfMotor3 , PowerOfMotor4]

はREWARD、取得された軌道の精度に応じて計算されます。開始空間状態 、希望する軌道、および終了空間状態が与えられると、実際に取得される軌道が希望する軌道に近づくほど、負の負の報酬が少なくなります。

のアルゴリズムpolicy iterationは次のとおりです。

このように、実行されるアクションは、必要な軌道 (ユーザーが選択) にも依存し、エージェントは自律的に 4 つのモーターの電力を選択します (必要な軌道を取り、より大きく、負の少ない、報酬を得ようとします)。ポリシーは動的です。更新される値関数に依存するため。

唯一の問題は、POLICYを次のように選択することです (S = Pitch 、 Yaw 、 Roll 、 Acceleration 、 WantedTrajectory ):

(したがって、すべてのアクション間で、この状態から最も大きな値を持つ状態にエージェントを導くアクション) は、アクション スペースが非常に大きいため、計算の面で多くのコストがかかります。

既に一般化された VALUE FUNCTION に応じて POLOCY を一般化する方法はありますか?

スタック オーバーフローに関するこの特定の質問に対する回答が見つからなかったので、ここに投稿します。

必要なデータベースに応じて、抽象クラスからデータベース処理オブジェクトを生成するファクトリ クラスがあります (コードを参照)。

私の質問はこれです。データベースハンドラーにのみ適用できる一般的なメソッドがいくつかあります...そのため、それらを独自のモジュールに配置するのは適切ではないと思います...しかし、それらを配置する適切な場所がどこにあるかわかりません。

それらを抽象クラスに入れることは確かに機能しますが、それが受け入れられる場所かどうかはわかりません。

抽象クラス

ファクトリークラス

機能クラス

gethandler.py

NARX モデル関数でリグレッサー ベクトルを一般化しようとしています。リグレッサー ベクトルは次のようになります。

[-y(i-1) -w(i)*y(i-1) u(i-1) w(i)*u(i-1) u(i-2) w(i)*u(i-2)]

関数が考慮すべき y 値と u 値の数を関数に伝えられるようにしたいと考えています。たとえば、2 つの y 値と 1 つの u 値を持つリグレッサー ベクトルが必要な場合は、次のように生成する必要があります。

[-y(i-1) -w(i)*y(i-1) -y(i-2) -w(i)*y(i-2) u(i-1) w(i)*u(i-1)]

任意の量の y 値と u 値についても同様です。どんな助けでも大歓迎です！

Numpy の学習を始めたので、これを書く方法を探しています。オイラー 1 の一般化を書きました。除数のリストと数値が必要です。たとえば、[3, 5] とオイラー 1 の 1000 です。

単純に純粋な python で:

これは、range(2,20)、1000000 の場合、約 2.5 秒で実行されます。

これまでの私の最初で最高のnumpyの試みは次のようになります:

range(2,20)、1000000 の場合、約 0.45 秒で実行されます。

私の 3 番目の試みは、foor ループを削除して純粋な numpy を使用することでしたが、速度部門でわずかなマージンで失われ、より多くのメモリを使用しました。

これは、range(2,20)、100000 の場合、約 0.5 秒で実行されます。

「純粋な」numpyでそれを書くためのより速い方法はありますか、それとも恥ずかしがらないforループですか？

注：除数リストを減らすことで最適化できることはわかっているので、それについてコメントする必要はありません:)

次のコードがあります。

これにより、次のようなログ エントリが生成 されますException -> ShoulderROM exception -> Kinect initialization failed. 。

誰かがここで私を助けてくれたら、本当にいいですね。:)

よろしく、リロ

ユースケースに添付されている画像のような一般化は可能ですか?

よろしくお願いします。