このネットワークは、入力層、中間層、出力層の3層構造で、それぞれニューロンの数が2，2，1と最小限の構成である。2入力1出力であるため、学習の
結果を3次元グラフで表すことが可能である。アプレットは、ネットワークの状態を表示させる部分と操作する部分に大きく分けられる。表示部分では各ニューロンからの出力や各結合荷重、閾値が一目瞭然となる。学習中にそれぞれがどう変化するかも目でわかるので、本研究のポリシーである視覚的表現という点からも納得のいくものだと自負している。
操作の手順としては、まず、一番左のドロップダウンリストからAND、OR、XORの何を学習させるか選ぶ。その後、Initializeボタンを押しLearnボタンを押す。すると学習が始まり、学習回数を誤差が表示される。学習回数は4パターンすべてを学習して1回とする。誤差は4パターン分の総誤差である。学習を一時停止したい場合はStopを押す。再開させる場合は再びLearnを押す。Stopを押した後にInitializeを押せば、始めから学習をやり直すことができる。Onceは1回ずつ学習させるためのものである。学習が収束したら、A、Bボタンで入力層へのパターンを決め、Operateを押す。結果は一番右のテキストボックスに表示される。
先に3つの演算の学習の結果を3次元グラフに表した。XY平面の座標がネットワークへの入力パターンとなり、Z座標が各パターンに対応するネットワークの出力となる。１がTRUE、０がFALSEに対応している。このネットワークは各演算について正しく学習しているのが分かる。
学習10回目から120回目くらいにかけて慣性項BPの収束性が良い。しかしそれ以降は両者に差はなく、ほぼ同じ曲線を描いている。最終的には、ほんのわずかの差だが、ノーマルBPのほうが早く収束した。何度か繰り返したが、ほとんどこれと同じ結果である。
学習2回目から30回目にかけて慣性項BPの収束性が良い。それ以降は逆にノーマルBPが勝っている。この場合も、最終的にはノーマルBPのほうがわずかに早く収束している。学習率1.0のときに比べると、両者とも早く収束している。
慣性項BPは、8回目にわずかに振動したが、20数回で収束している。この実験のANDの中で最も優れた収束性である。ノーマルBPは最初から振動が始まり、40回くらいまで激しく振動している。その後、誤差0.45付近を細かく振動し、時々大きく揺れる。最終的には収束したが、学習率5.0のときと比較するとかなり時間がかかった。
学習8回目から120回目くらいにかけて慣性項BPの収束性が良い。それ以降は両者ほぼ同じである。最終的にはノーマルBPがわずかに早く収束した。この振舞いは学習率1.0のANDに似ている。
2回目から38回目くらいにかけて慣性項BPの収束性がよい。最終的には、わずかに慣性項BPが勝ったが、ほぼ同時に収束した。学習率1.0のときと比べると、両者とも収束性が向上している。
慣性項BPは20回で収束した。ANDの場合と同じように、学習率20.0の慣性項BPが最も優れた収束性を示した。ノーマルBPは、10回目くらいまでわずかな振動があり、その後は周期的な振動を見せ、100数回目で収束した。学習率5.0のときと比べて遅くなった。これもANDの場合と似ている。
ノーマルBPは、最初誤差が上昇したが、その後は誤差が減少し1000回程度で収束した。慣性項BPは600回くらいまでほとんど変化がなく、その後緩やかに収束した。最終的には、ノーマルBPのほうが早く収束している。
ノーマルBPは60回くらいまで誤差が上昇し、150回くらいまで変化がなく、その後急激に誤差が減少したが、誤差0.4付近で停滞したままであった。これは局所解に陥ったものと思われる。何度か繰り返したが、この結果が多かった。慣性項BPは、35回くらいまで誤差が上昇した。その後、130数回で収束した。
ノーマルBPは、始めから小さい振動と大きい振動を交互に見せ、収束する様子は見られなかった。慣性項BPは、30回くらいまで振動したが、その後急激に誤差が減少し60回に満たないで収束した。AND、ORの場合と同様、学習率20.0の慣性項BPの収束性が最も優れていた。
私は、学習率が小さい場合、両者に差が出なかったのは、このネットワークのシンプルで最小限の構成が理由ではないかと考えた。より大きなネットワークでの慣性項の効果を検証するために、先に挙げた手書き文字認識を、中間層を2層にして実験に用いた。