8

ニューラル ネットワークによって制御されるエージェントの単純な進化シミュレーションを構築しようとしています。現在のバージョンでは、各エージェントに 1 つの隠れ層を持つフィードフォワード ニューラル ネットワークがあります。環境には、赤い点で表される一定量の食物が含まれています。エージェントは移動するとエネルギーを失い、食べ物の近くにいるとエネルギーを獲得します。エネルギーが0のエージェントは死ぬ。ニューラルネットの入力は、エージェントの現在の角度と、最も近い食べ物へのベクトルです。時間ステップごとに、各エージェントの移動角度は、そのニューラル ネットワークの出力によって変更されます。もちろん、その目的は、しばらくして食物を求める行動が進化するのを見ることです. しかし、何も起こりません。

問題はニューラルネットの構造(単純すぎる?)なのか、繁殖の仕組みなのかはわかりませんが、人口爆発を防ぐため、初期人口は20エージェント程度で、人口が50近くになると再生産のチャンスが近づいてきます。ゼロ。生殖が発生すると、エージェントのリストを最初から最後まで調べて、0 から 1 までの乱数がこのエージェントのエネルギーとすべてのエージェントのエネルギー。その場合、検索は終了し、このエージェントは親になります。このエージェントのコピーを環境に追加すると、ニューラル ネットワークの 1 つまたは複数の重みにある程度の確率で突然変異が生じます。

前もって感謝します!

4

2 に答える 2

6

環境が十分に良性である場合 (たとえば、食べ物を見つけるのが簡単である場合)、ランダムに移動することは完全に実行可能な戦略である可能性があり、生殖の成功は他の何よりも運に大きく影響される可能性があります. また、意図しない結果も考慮してください。たとえば、子孫が親と同じ場所にいる場合、両方がすぐに地域内で互いに競合し、長期的には両方の死につながるほど不利になる可能性があります。

システムをテストするには、個人を最も近い食べ物に向けて直接誘導するように設定された「事前に作成された」ニューラル ネットワークを持つ個人を導入します (あなたのモデルでは、そのようなものが存在し、非常に簡単に書き留めることができますよね? そうでない場合は、それが進化することを期待するのは不合理です!)。愚かな大衆の中で、その個人をあなたのシミュレーションに導入してください。個人がすぐに支配しない場合は、シミュレーションがそのような行動を強化するように設定されていないことを示唆しています. しかし、個体が生殖の成功を享受し、その個体とその子孫が引き継ぐ場合、シミュレーションは何か正しいことを行っており、そのような行動が進化していない理由を別の場所で探す必要があります。

コメントに応じて更新:

この角度とベクトルの混合は疑わしいように思えます。個人が「最も近い食べ物に向かってまっすぐに移動する」行動に向かって進化できるかどうかは、ネットワークによって atan 関数をどれだけうまく近似できるかにかかっているはずです (私は懐疑的です)。繰り返しますが、これはより多くのテストを示唆しています:

  • すべての生態学的シミュレーションを脇に置き、期待される機能に向かって進化できるかどうかを確認するために、ランダム ネットワークのスタイルの母集団を摂動してテストします。
  • (よりシンプルでより良い) ネットワークに (角度の代わりに) ベクトルを出力させます: 個人が進むべき方向 (もちろん、これは 1 つではなく 2 つの出力ノードを持つことを意味します)。明らかに、「食べ物に向かってまっすぐに移動する」戦略は、「食べ物に向かう方向」ベクトルコンポーネントの単なるパススルーであり、興味深いことは、ランダムネットワークがこの単純な「恒等関数」に向かって進化するかどうかを確認することです (また、上記のように、既製の最適化された個体の導入を許可します)。

「定食」も疑問です。(赤い点が消費されるとすぐに、別の点が導入されるという意味だと思います)。より「現実的な」モデルは、食料を一定の割合で導入し、人為的な人口制限を課さないことです。人口制限は、食料供給の制限によって決定されます。たとえば、1 分間に 100 ユニットの食料を導入し、個体が生き残るためには 1 分間に 1 ユニットの食料が必要な場合、シミュレーションでは、「人口爆発」を回避するためのクランプを必要とせずに、長期的な平均個体数が 100 個体になる傾向があることがわかります。 」 (ただし、詳細によっては、ブームとバスト、饗宴または飢饉のダイナミクスが実際に現れる場合があります)。

于 2013-02-21T19:59:59.303 に答える
4

これは強化学習の問題のように聞こえますが、優れたオンライン教科書もあります。

于 2013-02-21T18:55:39.967 に答える