1.1.2 神经网络结构及功能
神经元和神经网络的关系是元素与整体的关系。神经元的结构很简单，工作机理也不深奥；但是用神经元组成的神经网络就非常复杂，其功能也十分奥妙。
人们平常十分清楚砖头是很简单的，但是用简单的砖头，人们就可以筑造出各种美伦美灸的建筑物；无论是优雅的别墅，亦或是高耸雄伟的大厦，或者是粗旷的金字塔，亦或是庄严肃穆的教堂，无一不是由简单的砖头砌堆而成。简单的神经元也是如此，通过不同方式的连接和信息传递，也就能产生丰富多彩的神经网络结构，创造出令人赞叹的优异功能。
一、神经网络
神经网络就是由许多神经元互连在一起所组成的神经结构。把神经元之间相互作用的关系进行数学模型化就可以得到神经网络模型。
1．神经网络的基本属性
神经网络有些基本属性，它们反映了神经网络的特质。
(1)非线性
人脑的思维是非线性的，故人工神经网络模拟人的思维也应是非线性的。
(2)非局域性
非局域性是人的神经系统的一个特性，人的整体行为是非局域性的最明显体现。神经网络以大量的神经元连接模拟人脑的非局域性，它的分布存储是非局域性的一种表现。
(3)非定常性
神经网络是模拟人脑思维运动的动力学系统，它应按不同时刻的外界刺激对自己的功能进行修改，故而它是一个时变的系统。
(4)非凸性
神经网络的非凸性即是指它有多个极值，也即系统具有不只一个的较稳定的平衡状态。这种属性会使系统的演化多样化。神经网络的全局优化算法就反映了这一点，例如模拟退火法。
2．神经网络模型
神经网络在目前已有几十种不同的模型。人们按不同的角度对神经网络进行分类，通常可按5个原则进行神经网络的归类。
按照网络的结构区分，则有前向网络和反馈网络。
按照学习方式区分，则有有教师学习和无教师学习网络。
按照网络性能区分，则有连续型和离散性网络，随机型和确定型网络。
按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络。
按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模型和智能型模型。
通常，人们较多地考虑神经网络的互连结构。一段而言，神经网络有分层网络，层内连接的分层网络．反馈连接的分层网络，互连网络等4种互连结构，这些结构如图1—6所示。
在人们提出的几十种神经网络模型中，人们较多用的是Hopfield网络、BP网络、Kohonen网络和ART(自适应共振理论)网络。
|
(c) 有反馈连接的分层网络 |
(d)互连网络 |
Hopfield网络是最典型的反馈网络模型，它是目前人们研究得最多的模型之一。Hopfield网络是由相同的神经元构成的单层，并且不具学习功能的自联想网络。它需要对称连接。这个网络习以完成制约优化和联想记忆等功能。
BP网络是反向传播(Back Propagation)网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等用途。BP网路需有教师训练。
Kohonen网络是典型的自组织神经网络，这种网络也称为自组织特征映射网络SOM。它的输入层是单层单维神经元；而输出层是二维的神经元，神经元之间存在以“墨西哥帽”形式进行侧向交互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特性；从而使Kohonen网络可以作为模式特征的检测器。
ART网络也是一种自组织网络模型。这是一种无教师学习网络。它能够较好地协调适应性，稳定性和复杂性的要求。在ART网络中，通常需要两个功能互补的子系统相互作用．这两个子系统称注意子系统和取向子系统。ART网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感。
3．神经网络的学习规则
神经网络的学习规则可以粗略分成3类，这些类别分别如下：
第一类学习规则称相关学习规则。这种规则只根据连接间的激活水平改变权系数。
常用于自联想网络，如Hopfield网络。
第二类学习规则称纠错学习规则。这种规则根据输出节点的外部反馈改变权系数。在方法上它和梯度下降法等效，按局部改善最大的方向一步步进行优化，从而最终找到全局优化值。感知器学习就采用这种纠错学习规则．例如BP算法。用于统计性算法的模拟退火算法也属于这种学习规则。
第三类学习规则称无教师学习规则。它是一种对输入测检进行自适应的学习规则。
ART网络的自组织学习算法即属于这一类。
二、神经网络信息处理的数学过程
神经网络信息处理可以用数学过程来说明，这个过程可分为两个阶段；执行阶段和学习阶段。下面以前向网络情况说明这两个阶段。
1．执行阶段
执行阶段是指神经网络对输入信息进行处理，并产生对应的输出过程。在执行阶段，网络的连接结构和权系数是已经确定并且不会变化的。这时有：
 |
(1-7) |
| Xi(t+1)=fi[ui(t+1)] | (1-8) |
其中：Xi是前级神经元的输出；
Wij是第i个神经元和前级j个神经元突触的权系数
θi：是第i个神经元的阀值；
fi为第i个神经元的非线性激活函数；
Xi为第i个神经元的输出。
2．学习阶段
学习阶段是指神经网络自完善的阶段；这时，网络按一定的学习规则修改突触的权系数Wij，以使到结定的测度函数E达到最小。一般取：
E=(Ti,Xi) (1-9)
其中，Ti是教师信号；
Xi是神经元的输出。
学习公式可以表示为下面数学表达式：
 |
(1-10) |
其中：Ψ是一个非线性函数；
ηij是权重变化率；
n是学习时的迭代次数。
对于梯度学习算法，则可以采用下面具体公式：
 |
(1-11) |
神经网络对信息的处理一般都需要学习阶段和执行阶段结合，才能实现合理的处理过程。神经网络对信息的学习是为了取得对信息的适应特性，或信息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分类过程。
学习和执行是神经网络不可缺少的两个处理和功能。神经网络的各种有效的行为和作用，都是通过这两个关键的过程来实现的。
通过学习阶段，可以把神经网络训练成对某种信息模式特别敏感，或具有某种特征的动力学系统。通过执行阶段，可以用神经网络识别有关信息模式或特征。
在智能控制中，用神经网络作为控制器，则在学习时就是以神经网络去学习被控对象的特征，从而使神经网络能适应被控对象的输入输出关系；这样，在执行时，神经网络就能以学习到的知识对被控对象实现恰如其分的控制。