多層パーセプトロン訓練：最適性能のための実証戦略

隠れノード層追加でパーセプトロン性能大幅向上可能だが、隠れノードが訓練をやや複雑化

AACニューラルネットワークシリーズで、特にパーセプトロン類のデータ分類について学んできました。

シリーズ復習か新エントリへダイブ：

1. ニューラルネットワークを用いた分類の実行方法：パーセプトロンとは？
2. シンプルなパーセプトロンニューラルネットワーク例を用いたデータ分類方法
3. 基本パーセプトロンニューラルネットワークの訓練方法
4. シンプルなニューラルネットワーク訓練の理解
5. ニューラルネットワーク訓練理論入門
6. ニューラルネットワークにおける学習率の理解
7. 多層パーセプトロンによる高度な機械学習
8. シグモイド活性化関数：多層パーセプトロンニューラルネットワークにおける活性化
9. 多層パーセプトロンニューラルネットワークの訓練方法
10. 多層パーセプトロンの訓練公式とバックプロパゲーションの理解
11. Python実装のためのニューラルネットワークアーキテクチャ
12. Pythonで多層パーセプトロンニューラルネットワークを作成する方法
13. ニューラルネットワークを用いた信号処理：ニューラルネットワーク設計における検証
14. ニューラルネットワークの訓練データセット：Pythonニューラルネットワークの訓練と検証方法

 

多層パーセプトロンニューラルネットワークとは？

前回記事で単層パーセプトロンが現代ニューラルネットワークアーキテクチャ期待性能出せないこと実証。線形分離可能関数限定システムでは、実世界信号処理シナリオで発生する複雑入出力関係近似不能。解決策は多層パーセプトロン（MLP）：

 

 

隠れ層追加でネットワークが「普遍近似器」になり、極めて高度分類達成可能。だがニューラルネットワーク価値は訓練品質に完全依存。豊富多様な訓練データと効果的訓練手順なしにネットワークは入力サンプル分類「学習」せず。

 

なぜ隠れ層が訓練複雑化するか？

前回記事で単層パーセプトロン訓練に用いた学習規則振り返り：

 

\[w_{new} = w+(\alpha\times(output_{expected}-output_{calculated})\times input)\]

 

この式の暗黙仮定：観測出力ベースで重み更新、ゆえに単層パーセプトロン重みが出力値に直接影響必須。蛇口お湯/水栓2つで温度調整するようなもの。全体温度と栓操作関係は単純、数学苦手でも少し栓いじれば望み温度見つけられる。

だが今、お湯/水パイプ流量が栓位置と複雑非線形関係ならどう？お湯栓ゆっくり回しても流量不規則変動。水栓も同じ。この条件下で理想温度決定—特に「出力」が2つ混乱制御関係組み合わせで達成必須—は遥か困難。

これが隠れ層ジレンマ理解。入力-隠れノード接続重みは概念的にそれら機械的不安定栓と類似—入力-隠れ重みは出力層へ直接パス持たず、これら重みとネットワーク出力関係が複雑すぎ、上記単純学習規則効かない。

 

新訓練パラダイム

元パーセプトロン学習規則が多層ネットワーク適用不能なら、訓練戦略再考必要。勾配降下法と誤差関数最小化を導入。

留意点：この訓練手順は多層ニューラルネットワーク固有ではない。勾配降下法は一般最適化理論由来、MLP採用手順は単層ネットワークにも適用可能。しかし理解では、MLP型勾配降下法は（理論上少なくとも）単層パーセプトロンには不要、上記単純規則が最終的に仕事完遂するため。

MLP実際重み更新方程式導出には威圧的数学含むため、ここでは知的説明回避。本稿残り目的はMLP訓練2鍵側面—勾配降下法と誤差関数—概念的導入、次記事で新活性化関数組み込み継続。

 

勾配降下法

名の通り、勾配降下法は誤差関数最小値へ勾配ベースで降下する手段。以下図は勾配が重み修正方向と最小値距離情報与える様子伝達。

 

    

したがって誤差関数微分がMLP訓練計算重要要素。実際ここでは偏微分必要。勾配降下法実装時、各重み修正を修正対象重みに関する誤差関数勾配に比例させる。

 

誤差関数（別名損失関数）

ニューラルネットワーク誤差定量化一般法：期待（ターゲット）値と計算値差を各出力ノードで二乗、全二乗差合計。これを「二乗差和」や「二乗誤差和」等呼称、LMS（least-mean-square、最小二乗平均）略称も見かけ、訓練目標が平均二乗誤差最小化だから。この誤差関数（E表記）数学的表現：

 

\[E=\frac{1}{2}\sum_k(t_k-o_k)^2\]

 

kが出力ノード範囲、tがターゲット出力値、oが計算出力値。

 

結論

多層パーセプトロン成功訓練土台構築、次記事でこの興味深いトピック継続探求。