machine-learning - Neural Network Evaluation and Topology

Question

My goal is to solve the XOR problem using a Neural Network. I’ve read countless articles on the theory, proof, and mathematics behind a multi-layered neural network. The theory make sense (math… not so much) but I have a few simple questions regarding the evaluation and topology of a Neural Network.

I feel I am very close to solving this problem, but I am beginning to question my topology and evaluation techniques. The complexities of back propagation aside, I just want to know if my approach to evaluation is correct. With that in mind, here are my questions:

1. Assuming we have multiple inputs, does each respective input get its’ own node? Do we ever input both values into a single node? Does the order in which we enter this information matter?

2. While evaluating the graph output, does each node fire as soon as it gets a value? Or do we instead collect all the values from the above layer and then fire off once we’ve consumed all the input?

3. Does the order of evaluation matter? For example, if a given node in layer “b” is ready to fire – but other nodes in that same layer are still awaiting input – should the ready node fire anyway? Or should all nodes in the layer be loaded up before firing?

4. Should each layer be connected to all nodes in the following layer?

I’ve attached a picture which should help explain (some of) my questions.

Thank you for your time!

Answer 1

1) はい、各入力は独自のノードを取得し、そのノードは常にその入力タイプのノードです。順序は関係ありません。一貫性を保つ必要があります。結局、訓練されていないニューラル ネットワークは、線形に分離可能な入力のセットを出力にマッピングすることを学習できるため、ノードを機能させるために必要な順序は存在しません。

2 および 3) 次のレイヤーのノードが起動する前に、1 つのレイヤーからすべての値を収集する必要があります。ステップワイズ以外のアクティベーション関数を使用している場合、これは重要です。これは、入力の合計が前方に伝播される値に影響するためです。したがって、何かを伝播する前に、その合計が何であるかを知る必要があります。

4) どのノードを他のどのノードに接続するかはあなた次第です。ネットが過度に大きくならず、XOR はかなり単純な問題であるため、1 つの層のすべてのノードを次の層のすべてのノードに接続するのがおそらく最も簡単です (つまり、完全に接続されたニューラル ネットワーク)。他の問題では、このトポロジーを使用しないほうがよい特殊なケースがあるかもしれませんが、それを理解する簡単な方法はありません (ほとんどの人は試行錯誤または NEAT のように遺伝的アルゴリズムを使用します)。この問題の目的上、これについて心配する必要はありません。