由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的见解。目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。"
如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方式进行比较，就可以看出人脑具有以下鲜明特征：
1. 巨量并行性。
在冯·诺依曼机中，信息处理的方式是集中、串行的，即所有的程序指令都必须调到CPU中后再一条一条地执行。而人在识别一幅图像或作出一项决策时，存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。
据研究，人脑中约有多达10^(10)～10^(11)数量级的神经元，每一个神经元具有103数量级的连接，这就提供了巨大的存储容量，在需要时能以很高的反应速度作出判断。
2. 信息处理和存储单元结合在一起。
在冯·诺依曼机中，存储内容和存储地址是分开的，必须先找出存储器的地址，然后才能查出所存储的内容。一旦存储器发生了硬件故障，存储器中存储的所有信息就都将受到毁坏。而人脑神经元既有信息处理能力又有存储功能，所以它在进行回忆时不仅不用先找存储地址再调出所存内容，而且可以由一部分内容恢复全部内容。当发生"硬件"故障（例如头部受伤）时，并不是所有存储的信息都失效，而是仅有被损坏得最严重的那部分信息丢失。
3. 自组织自学习功能。
冯·诺依曼机没有主动学习能力和自适应能力，它只能不折不扣地按照人们已经编制好的程序步骤来进行相应的数值计算或逻辑计算。而人脑能够通过内部自组织、自学习的能力，不断地适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。
神经网络研究的主要发展过程大致可分为四个阶段：
1. 第一阶段是在五十年代中期之前。
西班牙解剖学家Cajal于十九世纪末创立了神经元学说，该学说认为神经元的形状呈两极，其细胞体和树突从其他神经元接受冲动，而轴索则将信号向远离细胞体的方向传递。在他之后发明的各种染色技术和微电极技术不断提供了有关神经元的主要特征及其电学性质。
1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经活动中所蕴含思想的逻辑活动》中，提出了一个非常简单的神经元模型，即M－P模型。该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经网络模型的理论研究。
1949年，心理学家D.O. Hebb写了一本题为《行为的组织》的书，在这本书中他提出了神经元之间连接强度变化的规则，即后来所谓的Hebb学习法。Hebb写道："当神经细胞Ａ的轴突足够靠近细胞Ｂ并能使之兴奋时，如果Ａ重复或持续地激发Ｂ，那么这两个细胞或其中一个细胞上必然有某种生长或代谢过程上的变化，这种变化使Ａ激活Ｂ的效率有所增加。"简单地说，就是如果两个神经元都处于兴奋状态，那么它们之间的突触连接强度将会得到增强。
五十年代初，生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电路时，将膜上离子的迁移变化分别等效为可变的Na+电阻和K+电阻，从而建立了著名的Hodykin-Huxley方程。
这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神经计算的出现打下了基础。
2. 第二阶段从五十年代中期到六十年代末。
1958年，F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络特点的模式识别装置，即代号为Mark Ｉ的感知机（Perceptron），这一重大事件是神经网络研究进入第二阶段的标志。对于最简单的没有中间层的感知机，Rosenblatt证明了一种学习算法的收敛性，这种学习算法通过迭代地改变连接权来使网络执行预期的计算。
稍后于Rosenblatt，B.Widrow等人创造出了一种不同类型的会学习的神经网络处理单元，即自适应线性元件Adaline，并且还为Adaline找出了一种有力的学习规则，这个规则至今仍被广泛应用。Widrow还建立了第一家神经计算机硬件公司，并在六十年代中期实际生产商用神经计算机和神经计算机软件。
除Rosenblatt和Widrow外，在这个阶段还有许多人在神经计算的结构和实现思想方面作出了很大的贡献。例如，K.Steinbuch研究了称为学习矩阵的一种二进制联想网络结构及其硬件实现。N.Nilsson于1965年出版的《机器学习》一书对这一时期的活动作了总结。
3. 第三阶段从六十年代末到八十年代初。
第三阶段开始的标志是1969年M.Minsky和S.Papert所著的《感知机》一书的出版。该书对单层神经网络进行了深入分析，并且从数学上证明了这种网络功能有限，甚至不能解决象"异或"这样的简单逻辑运算问题。同时，他们还发现有许多模式是不能用单层网络训练的，而多层网络是否可行还很值得怀疑。
由于M.Minsky在人工智能领域中的巨大威望，他在论著中作出的悲观结论给当时神经网络沿感知机方向的研究泼了一盆冷水。在《感知机》一书出版后，美国联邦基金有15年之久没有资助神经网络方面的研究工作，前苏联也取消了几项有前途的研究计划。
但是，即使在这个低潮期里，仍有一些研究者继续从事神经网络的研究工作，如美国波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen以及日本东京大学的甘利俊一等人。他们坚持不懈的工作为神经网络研究的 复兴开辟了道路。
4. 第四阶段从八十年代初至今。
1982年，美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型神经网络模型，利用所定义的计算能量函数，成功地求解了计算复杂度为NP完全型的旅行商问题（Travelling Salesman Problem，简称TSP）。这项突破性进展标志着神经网络方面的研究进入了第四阶段，也是蓬勃发展的阶段。
Hopfield模型提出后，许多研究者力图扩展该模型，使之更接近人脑的功能特性。1983年，T.Sejnowski和G.Hinton提出了"隐单元"的概念，并且研制出了Boltzmann机。日本的福岛邦房在Rosenblatt的感知机的基础上，增加隐层单元，构造出了可以实现联想学习的"认知机"。Kohonen应用3000个阈器件构造神经网络实现了二维网络的联想式学习功能。1986年D.Rumelhart和J.McClelland出版了具有轰动性的著作《并行分布处理-认知微结构的探索》，该书的问世宣告神经网络的研究进入了高潮。
1987年，首届国际神经网络大会在圣地亚哥召开，国际神经网络联合会（INNS）成立。随后INNS创办了刊物《Journal Neural Networks》，其他专业杂志如《Neural Computation》，《IEEE Transactions on Neural Networks》，《International Journal of Neural Systems》等也纷纷问世。世界上许多著名大学相继宣布成立神经计算研究所并制订有关教育计划，许多国家也陆续成立了神经网络学会，并召开了多种地区性、国际性会议，优秀论著、重大成果不断涌现。
今天，在经过多年的准备与探索之后，神经网络的研究工作已进入了决定性的阶段。日本、美国及西欧各国均制订了有关的研究规划。
日本制订了一个"人类前沿科学计划"。这项计划为期１５－２０年，仅初期投资就超过了１万亿日元。在该计划中，神经网络和脑功能的研究占有重要地位，因为所谓"人类前沿科学"首先指的就是有关人类大脑以及通过借鉴人脑而研制新一代计算机的科学领域。
在美国，神经网络的研究得到了军方的强有力的支持。美国国防部投资４亿美元，由国防部高级研究计划局（DAPRA）制订了一个８年研究计划，并成立了相应的组织和指导委员会。同时，海军研究办公室（ONR）、空军科研办公室（AFOSR）等也纷纷投入巨额资金进行神经网络的研究。DARPA认为神经网络"看来是解决机器智能的唯一希望"，并认为"这是一项比原子弹工程更重要的技术"。美国国家科学基金会（NSF）、国家航空航天局（NASA）等政府机构对神经网络的发展也都非常重视，它们以不同的形式支持了众多的研究课题。
欧共体也制订了相应的研究计划。在其ESPRIT计划中，就有一个项目是"神经网络在欧洲工业中的应用"，除了英、德两国的原子能机构外，还有多个欧洲大公司卷进这个研究项目，如英国航天航空公司、德国西门子公司等。此外，西欧一些国家还有自己的研究计划，如德国从1988年就开始进行一个叫作"神经信息论"的研究计划。
我国从1986年开始，先后召开了多次非正式的神经网络研讨会。1990年12月，由中国计算机学会、电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了"中国神经网络首届学术会议"，从而开创了我国神经网络研究的新纪元。
阅读(6846) | 评论(0) | 转发(0) |
