神经网络的发展介绍-轻识

什么是神经网络

人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式构造的网络系统.神经网络理论突破了传统的、串行处理的数字电子计算机的局限，是一个非线性动力学系统，并以分布式存储和并行协同处理为特色，虽然单个神经元的结构和功能极其简单有限，但是大量的神经元构成的网络系统所实现的行为却是极其丰富多彩的.

人工神经网络研究的历史

神经网络的研究已有50多年的历史,但其发展是不平衡的，它的兴衰还与“人工智能走什么路”这一争议问题有关.由于其结构的复杂性，起始阶段进展不快，并一度陷入低谷,但仍有不少有识之士在极其艰难的条件下坚持研究，使研究工作始终没有中断，并在模型建立等理论方面取得了突破性的成果，时至今天人工神经网络成了信息领域的热门研究课题.

人工神经网络初始发展期（20世纪40年代〜20世纪60年代）

早在1943年，美国心理学家McCulloch和数学家Pitts联合提出了形式神经元的数学模型，即M-P模型，从此开创了神经科学理论研究的新纪元.M-P模型能够完成有限的逻辑运算.1944年，心理学家Hebb提出了改变神经元间连接强度的Hebb规则，它们至今仍在各种神经网络模型中起着重要的作用.1957年，计算机科学家Rosenblatt用硬件完成了最早的神经网络模型，即感知器（Perceptron）,并用来模拟生物的感知和学习能力.1962年，电机工程师Windrow和Hoff提出的自适应线性元件Adaline,它是一个连续取值的线性网络，在信号处理系统中用于抵消通讯中的回波和噪声，应用十分广泛。

人工神经网络低谷期（20世纪60年代末〜20世纪70年代末）

1969年,人工智能之父Minsky和Papert发表的《感知器（Perdeptron）》一书指出，感知器无科学价值而言，连XOR逻辑分类都做不到，只能作线性划分.由于Minsky在学术界的地位和影响，故其后若干年内，这一研究方向处于低潮.另一方面，传统的冯-诺依曼电子数字计算机正处在发展的全盛时期，整个学术界都陶醉在成功的喜悦之中，从而掩盖了新型计算机的发展的必然.尽管如此，在此期间仍然有不少有识之士不断努力，在极端艰难的条件下致力于这一研究，为神经网络研究的发展奠定了理论基础.Boston大学的Grossberg和Carpenter提岀了自适应共振理论ART网络.芬兰的Heisinki大学的Kohonen提出了自组织映射网络.日本的大坂大学的Fukushima提出了神经认知机网络模型.日本东京大学的Amari对神经网络进行了数学理论的研究。

人工神经网络兴盛期（20世纪80年代以后）

上世纪70年代末期，研究和试图模拟视听觉的人工智能专家首先遇到挫折，人们习以为常的知识难以教给计算机.计算机的设计者和制造商也发现前面有不可逾越的线路微型化的物理极限，人们才开始思考冯诺依曼机到底还能走多远.同时，VLSI、脑科学、生物学、光学的迅速发展也为人工神经网络的发展打下了基础.1982年，加州大学的物理学家Hopfied提岀了Hopfield网络模型，并用电路实现.1985 年.Rumelhart提出了BP算法，把学习的结果反馈到神经网络的隐层，来改变权系矩阵，它是迄今为止最普遍的网络.Hinton等人提出了Boltzman机模型.1988年,蔡少堂提出了细胞神经网络模型。

人工神经网络近些年

近年来，神经网络理论引起了美国、欧洲与日本等国科学家和企业家的巨大热情.新的研究小组、实验室、风险公司等与日俱增，世界各国也正在组织和实施与此有关的重大研究项目.如美国DARPA计划、日本HFSP计划、法国尤里卡计划、德国欧洲防御计划和前苏联高技术发展计划等.1986年4月，美国物理学会在Snowbirds召开了国际神经网络学术会议.1987年6月,IEEE在San Diego召开了国际神经网络学术会议，并成立了国际神经网络学会.1988年起,IEEE和国际神经网络学会每年召开一次国际会议.1990年3月，IEEE神经网络会刊问世.神经网络理论的应用也已经渗透到各个领域,并在智能控制、模式识别、计算机视觉、自适应滤波、信号处理、非线性优化、语音识别、知识处理、传感技术与机器人等方面取得了令人鼓舞的进展.神经网络代表一种新的主义，即连接主义，用于解决诸如知识表达、推理学习、联想记忆、乃至复杂的社会现象,如混沌，社会演变等复杂系统的统一模型，它将预示着一个新的工业的到来

深度学习中为什么不同的特征信息可以直接相加

公众号粉丝礼包：
后台关键词：python大礼包
礼包内容：Matlab,数据分析与机器学习实战,数据科学概率基础,数学基础,算法讲解视频
整理不易，还请点击在看与分享，谢谢。
星标🌟公众号，可以更快接收文章！

每日一得“在看”