パーセプトロン学習：収束性と直交射影

この節では、ニューラルネットワークの基本構成要素であるパーセプトロンの構造と動作原理について詳細に説明します。McCullochとPittsによる神経細胞モデル化[11]を基礎とし、Rosenblattによって提案された線形識別回路としてのパーセプトロン[12, 13]の機能を解説します。パーセプトロンは、入力信号を受け取り、重み付けされた総和を計算し、その結果が閾値を超えた場合に出力を生成するシンプルなモデルです。このモデルの動作を数式と図解を用いて明確に示し、パーセプトロンが線形分離可能なパターン分類問題を扱うことができる仕組みを解説します。また、パーセプトロンの限界、具体的には線形分離不可能なパターン集合には対応できない点を明確にします。多層パーセプトロンや、後述する相互結合型ニューラルネットワークとの関連性についても軽く触れ、パーセプトロンがこれらのより複雑なネットワークの基本ブロックとして機能することを示唆します。 パーセプトロンの入力は必ずしも2値に限定されず、実数であることを強調し、理解を容易にするため3次元立方体の頂点に位置するパターンを用いた図解（図2.2〜図2.4）を示しながら説明を進めます。これらの図を用いて、線形分離可能なパターンと不可能なパターンの違いを視覚的に示し、パターンの数と線形分離可能性の関係が単純ではないことを明らかにします。

本節では、パーセプトロンによるパターン分類のための学習アルゴリズム、特にRosenblattによって提案されたパーセプトロン学習[12, 13]について詳述します。パーセプトロン学習は、誤分類されたパターンに対して、重みと閾値を調整することで、誤差を最小化していく反復的な手法です。この学習アルゴリズムのメリットとして、線形分離可能な問題に対しては有限回の更新で必ず解に到達するという学習収束定理[21]を明確に示します。しかしながら、学習速度が遅いことや、雑音を含むパターンに対する分類性能が必ずしも良好ではないといったデメリットについても言及します。パーセプトロン学習のアルゴリズムを数式で表現し、その計算手順を詳細に説明します。また、双方向連想記憶のために提案されたPRLAB[41]とパーセプトロン学習アルゴリズムの等価性についても触れ、学習速度改善の可能性を示唆します。パーセプトロン学習のアルゴリズムにおける重み更新の過程を、図を用いて視覚的に分かりやすく説明することで、理解を促進します。さらに、パーセプトロン学習の収束条件についても言及し、その条件を満たすための重み調整方法を具体的に示します。

この節では、線形分離可能なパターンの数に関する理論的な考察を行います。N次元空間において線形分離可能なパターンの個数の期待値に関するKofordの予想[30]、およびBrownによる同様の予想[31]、そしてこれらの予想の理論的な解決を独立に行ったWinder[33]とCover[34]の貢献について述べます。Kofordの予想は2値パターン、すなわち各パターンがN次元超立方体の頂点に位置する場合に関するものであり、Brownの予想はN次元超球面上のランダムパターンに関するものです。これらの研究成果を踏まえ、高次元空間におけるパターン分類問題の複雑さを示し、本研究で扱うパターン分類問題の背景を理論的に裏付けます。 線形分離可能なパターンの個数の期待値の上限値に関する議論を通じて、高次元空間におけるパターン分類の困難さを明確化します。具体的には、パターン数が多くなると線形分離が困難になる傾向があることを説明し、その背景となる数学的な理論を簡潔に示します。 また、本研究で用いるパターンベクトルの性質（実数値ランダムベクトル）と、線形分離可能性の関係についても触れます。

本章の最終節では、相互結合型ニューラルネットワークについて解説します。相互結合型ニューラルネットワークは、フィードバック機構を持つため、階層型ニューラルネットワークとは異なりダイナミクスを有し、その安定平衡点やリミットサイクルなどにパターンを記憶させることができます[35]。この特性を利用した連想記憶について説明し、アドレスによる想起とは異なる、内容に基づいた想起を行う仕組みを解説します。さらに、相互結合型ニューラルネットワークの確率的記憶容量についても論じます。ランダムに選ばれたパターン集合が、ネットワークの平衡状態として記憶できるかどうかは、ユニット数やパターン数だけでなく、パターン間の組み合わせにも依存することを説明します。 具体的な例として、1つの要素だけが異なる2つのパターンからなる集合が、ユニット数に対してパターン数が小さくても記憶できない場合があることを示し、確率的記憶容量の概念を理解しやすく説明します。この節では、相互結合型ニューラルネットワークの記憶容量を決定する要因を分析し、パターン集合の記憶可能性と結合荷重の存在可能性の等価性を示します。数式(2.15)〜(2.17)を用いて、記憶可能性の判定方法を数学的に示します。これにより、後続の章で提案される学習アルゴリズムの文脈において、相互結合型ニューラルネットワークの特性がどのように重要になるのかを示唆します。

本章では、パーセプトロンへの適応フィルタアルゴリズムの適用について論じます。従来のパーセプトロン学習アルゴリズムの問題点として、学習速度の遅さや、雑音に弱い点を指摘し、それに対する改善策として、アフィン射影アルゴリズム(APA)をベースとした新しい学習アルゴリズム、等比学習アルゴリズム(GLA)を提案します。このGLAは、パーセプトロンの結合荷重ベクトルを、複数の入力パターンベクトルの直交補空間に向けて垂直に更新していくアルゴリズムです。 既存のパーセプトロン学習アルゴリズム（パーセプトロン学習）[21]では、線形分離可能な問題であれば有限回の更新で解に到達しますが、学習速度が遅く、雑音の影響を受けやすいという欠点があります。この問題を解決するために、本研究では、適応フィルタの分野で発展してきたAPA[19]をパーセプトロンの学習に応用するという新しいアプローチをとります。 具体的には、APAの効率的な更新則をパーセプトロンの学習に適用することで、高速かつロバストな学習を実現するGLAを提案し、その収束特性を理論的および数値的に解析します。本章では、まずAPAを含む関連する適応フィルタアルゴリズム(LMS, NLMS)の概要を説明し、その後、GLAのアルゴリズムの詳細、およびその収束特性に関する解析結果を示します。

本節では、提案する等比学習アルゴリズム(GLA)の詳細を説明します。GLAは、パーセプトロンの結合荷重ベクトルの更新を、n個のパターンベクトルの直交補空間に向かって垂直に行うアルゴリズムです。ここで、nはGLAの次数と呼ばれます。このアルゴリズムの仕組みを数式を用いて厳密に記述し、各更新ステップにおける結合荷重ベクトルの変化を明確に示します。図3.1を用いて、基本的な適応フィルタの概念を示し、GLAがどのように適応フィルタの考え方に基づいているかを説明します。 また、適応フィルタアルゴリズムとして、LMSアルゴリズム[15]、NLMSアルゴリズム[18]、そしてAPA[19]を簡単に紹介します。特に、NLMSアルゴリズムがLMSアルゴリズムよりも高速で、収束速度が入力信号によらない利点を持つことを指摘します。 さらに、APAによるフィルタ係数更新の図解(図3.3)を示し、APAが複数の超平面の交点(アフィン部分空間)に向かって結合荷重ベクトルを更新する仕組みを解説します。 本研究で提案するGLAは、APAを基にしており、結合荷重更新の目標が、APAにおける未知システムの最適同定(一点)ではなく、すべての入力を正しく分類できる領域(ある領域)であることを強調します。この違いが、GLAの収束条件をAPAとは異なるものにする点を明確にします。

この節では、GLAの収束特性について解析を行います。まず、最も基本的なケースとして、2個のパターンを分類する場合のGLA（特に1次GLA）の発振状態が生じる条件を解析し、有限回の更新で結合荷重ベクトルが解領域に到達するための、2パターンの角度θと学習係数λの必要十分条件を理論的に導出します。 図3.5（パーセプトロン学習）と図3.6（1次GLA）を用いて、2次元2パターンの場合の学習過程を比較し、GLAの特徴を視覚的に説明します。図3.7は、1次GLAにおける発振状態を示しており、この発振状態に陥ると学習が収束しないことを示します。 次に、3個以上のパターンを分類する場合には、解領域の角度ψminを導入し、1次GLAが収束するためのψminとλの関係、およびθとλの関係を計算機シミュレーションで調べます。 さらに、θによらずに収束する条件λ=2について、1次GLAがパターン数に関わらず常に収束することを証明します。これにより、1次GLAの収束性が保証され、学習アルゴリズムとしての有効性が確認されます。 最終的に、1次GLAが収束するためのψminとλが分布する範囲を近似的に明らかにし、これらの解析結果からGLAの有効性と解領域の角度ψminの意義について考察します。また、1次GLAとパーセプトロン学習の収束速度の比較に関する数値解析の結果についても簡単に述べます。

本節では、計算機シミュレーションを用いて、3.3節で得られた理論的結果を検証し、GLAの有効性を数値的に確認します。特に、学習係数λを2とした場合（この場合を以降SLAと呼ぶ）、線形分離可能なパターン分類問題に対して、パターン数に関わらず1次GLAが大域収束することを示します。 計算機シミュレーションでは、様々なパターン集合と結合荷重の初期値を用いて、GLAの収束性を検証します。具体的には、100個のランダムな初期値を用いて、パターン数5を1周期とする周期的提示とランダム提示の両方のパターン提示方法でシミュレーションを実行します。 シミュレーションの結果、1次GLAが収束するためのψminとλの関係が、2パターンの場合のθとλの関係で近似できることを示します。この結果は、GLAの収束条件をより簡潔に表現することを可能にし、アルゴリズムの理解と設計に役立ちます。 さらに、λ=2の場合のGLAの収束速度とパーセプトロン学習の収束速度を比較する数値解析の結果を示し、GLAの効率性の高さを数値的に示します。 解領域の角度などの情報は学習前には得られないため、λ=2という条件は、パターン数に関わらず収束するという点で特別な意味を持つことを強調します。

本章では、第3章で提案した等比学習アルゴリズム(GLA)において学習係数λを2とした特別な場合を、対称学習アルゴリズム(SLA)として定義し、その収束特性を詳細に解析します。SLAは、GLAと同様にパーセプトロンのパターン分類問題を解くためのアルゴリズムですが、学習係数を2に固定することで、よりシンプルな構造と解析可能性を得ています。 第3章ではGLAの収束特性について、学習係数λとパターンの角度θ、解領域の角度ψminとの関係を調べました。しかし、最適なλの値は問題によって異なるため、λを固定することで、より汎用性の高いアルゴリズムを目指します。 本章では、まずSLAを定義し、そのアルゴリズムの詳細を説明します。その後、SLAの次数n、パターン数P、パターン次元Nと収束性の関係を理論的に検討し、計算機シミュレーションによる検証結果を示します。特に、パターン数Pがパターン次元Nの2倍を超える場合(P>2N)に、結合荷重の初期値によらずに学習が収束するための条件を明らかにします。

この節では、対称学習アルゴリズム(SLA)の定義とアルゴリズムの詳細を説明します。GLAにおいて学習定数λを2とした場合をSLAと呼び、各時点での結合荷重ベクトルの更新に、パーセプトロンの出力が望ましい出力と異なるn個のパターンを用いるものをn次SLA(n-SLA)と定義します。 n-SLAのアルゴリズムを数式で明確に記述し、結合荷重ベクトルの更新方法をステップバイステップで説明します。図4.1を用いて、n>Nの場合のSLAにおける結合荷重ベクトルの更新の様子を示します。この図解を通して、結合荷重ベクトルの更新が、選択されたn個のパターンベクトルの直交補空間に向かうことを視覚的に理解できるように説明します。 SLAでは、学習係数λを2に固定することで、結合荷重ベクトルの更新がより対称的な性質を持つようになり、収束解析が容易になります。この対称性によって、収束条件の導出や、収束速度の評価が簡略化されることを説明します。また、SLAにおけるパターンの選択方法（パーセプトロンの出力が望ましい出力と異なるパターンを選択）についても詳細に説明します。

本節では、SLAの次数n、パターン数P、パターン次元Nと収束性の関係について理論的な検討を行います。特に、P>2Nの場合に、結合荷重の初期値によらずに学習が収束するためには、n<Nでなければならないことを明らかにします。 この条件を導出するための理論的な根拠を、厳密な数学的議論を用いて説明します。 さらに、n次SLAの収束速度とパターン次元Nの関係についても理論的な解析を行い、SLAの収束速度が次数nとパターン次元Nにどのように依存するのかを明らかにします。 これらの理論的解析の結果は、SLAの設計やパラメータ選択において重要な指針となります。例えば、パターン次元Nが大きい問題に対しては、SLAの次数nを適切に小さく選択する必要があることを示唆します。また、理論解析の結果を数値シミュレーションを用いて検証する計画についても簡単に触れます。

本節では、4.3節で行った理論的検討の結果を検証するために、計算機シミュレーションの結果を示します。(N, P)=(4, 10), (7, 16), (10, 20)の3つのケースについて、100個のランダムな結合荷重の初期値を用いてシミュレーションを行い、学習収束までの平均更新回数を図4.6〜図4.8に示します。 これらの図から、理論的に導出した条件(n<N)が、実際にSLAの収束性に影響を与えることを数値的に確認します。 また、SLAの収束速度に関する理論的解析結果と、シミュレーション結果の比較を行い、理論と実験結果の一致度を確認します。 さらに、パターン数Pが十分大きく、パターンが一様分布とみなせる場合に、n-SLAと(N-n)-SLAの学習経路が1回おきに一致する可能性について議論し、理論的考察を補足します。ただし、実際のパターン分類問題ではパターンが一様分布ではないため、この一致は必ずしも保証されないことを明確にします。 最終的に、本研究で得られたSLAの収束特性に関する知見をまとめ、今後の研究課題について言及します。

本研究では、パーセプトロンを対象とし、その学習アルゴリズムとしてAPAを応用した新しいアルゴリズム、等比学習アルゴリズム(GLA)と、学習係数を2に固定した対称学習アルゴリズム(SLA)を提案しました。 GLAについては、学習係数λとパターンの角度θ、解領域の角度ψminの関係を理論的に解明し、計算機シミュレーションによりその有効性を確認しました。特に、λ=2の条件下では、パターン数に関わらずGLAが収束することを証明しました。 SLAについては、次数n、パターン数P、パターン次元Nと収束性の関係を理論的に検討し、P>2Nの場合の収束条件を明らかにしました。計算機シミュレーションにより、理論的考察を裏付ける結果を得ています。 本研究により、パーセプトロンのパターン分類問題に対する新しい学習アルゴリズムが提案され、その収束特性が理論的および数値的に解明されました。しかしながら、収束のための厳密な必要十分条件や、パーセプトロン学習、GLA、SLA間の定量的な収束速度比較などは今後の課題として残されています。 今後の研究として、線形分離不可能なパターン分類問題へのGLA、SLAの適用、1回の更新に要する計算量まで考慮した学習速度の評価、多層ニューラルネットワークへの適用などが挙げられます。