神经网络原始的启发

深度学习视觉

共 1700字,需浏览 4分钟

 · 2022-03-17

生物神经元是脑组织的基本单元,大约140亿个,尽管在种类(50余种)、大小形状上有差异,但是作为信息处理单元,其结构和功能上大体雷同。

神经元的结构

本体: 细胞体(细胞膜、质、核) ,对输入信号进行处理,相当于CPU。

树突: 本体向外伸出的分支,多根,长1 mm左右,本体的输人端。

轴突: 本体向外伸出的最长的分支,即神经纤维,一根,长1 cm~1 m左右,通过轴突上的神经末梢将信号传给其他神经元,相当于本体的输出端。

突触: 各神经元之间轴突和树突之间的接口,即神经末梢与树突相接触的交界面,每个细胞体大约有103~10*个突触。突触有兴奋型和抑制型两种。

膜电位与神经元的兴奋

膜电位: 细胞膜将细胞分为内外两部分,当外部电位为0时,称内部电位为膜电位。

静止膜电位: 当没有输人信号时的膜电位称为静止膜电位,通常为一70 mV左右。

兴奋状态: 当外部有输入信号时,将使膜电位发生变化,倘若使膜电位升高,比静止膜电位高15mV以上,即超过一55mV(阈值),神经元被激活,内部电位急剧上升至100mV左右,并维持约1ms,然后急剧下降。相当输出-一个100mV高1ms宽的脉冲,并沿轴突以100m/s的速度传至其他的神经元。

抑制状态: 当外部输入信号使膜电位下降低于阙值电位时,神经元处于抑制状态,无脉冲输出。“兴奋一抑制”状态满足“0—1”律。

A/D转换: 电脉冲到达各突触接口后,放出某种化学物质,该物质作用于各个和其相连的神经元的细胞膜,并使其膜电位发生变化,完成了将离散的脉冲信号转换为连续变化的电位信号。不应期: 神经元输出一个脉冲后,一-段时间内对激励不响应,称之为不应期,一般为几毫秒。

时间加算功能: 对于不同时间通过同一突触传人的信号具有时间的加算功能。

空间加算功能: 对于同一时间通过不同突触的输入信号具有空间加算功能。

M-P模型

M-P模型在一定程度上反映了生物神经元在结构上和功能上的特征。但是M-P模型给抑制性输入赋予了一票否决权,只有当不存在抑制性输入并且输入的加算超过了阈值时,神经元才会兴奋。仿照生物神经元,可以建立如下的M-P模型示意图。

神经元:j表示,它可能接收多个信号输入x_i

突触强度: 使用权值w_i表示;

当前神经元的触发阈值: \theta_j表示触发某个神经元的输出阈值,只有当触发总和超过阈值的时候,神经元才被激活而触发脉冲。

当前神经元的输出: y_j

M-P模型有如下6大特点:

  1. 每个神经元都是一个多输入单输出的信息处理单元;

  2. 神经元输入分兴奋性输入和抑制性输入两种类型;

  3. 神经元具有空间整合特性和阈值特性;

  4. 神经元输入与输出间有固定的时滞,主要取决于突触延搁;

  5. 忽略时间整合作用和不应期;

  6. 神经元本身是非时变的,即其突触时延和突触强度均为常数。

线性加权模型

是M-P模型的变种,取消了抑制神经元的一票否决权,抑制神经元与兴奋神经元最后的权值相同。

模拟条件反射的神经网络

由于信号通过一个神经元总是需要一定时间,所以我们可以把神经元看成是一个具有单位延时的神经组织。这样利用神经元的延时作用和线性加权原理,就可以通过引入适当的反馈连接方式实现记忆功能。利用神经元的适当模型可以构造出具有某些复杂行为的网络系统,这就是神经网络,早期的神经网络都比较简单,模拟的行为也比较简单,通常是用分立电子器件实现(所谓的硬件方法)。

上图是用来模拟条件反射的建立和消退的早期神经网络系统,图中X1代表无条件刺激(如巴甫洛夫试验中的“食物”);X2代表条件刺激或信号(如巴甫洛夫试验中的“铃声”);N1N2分别是限值为N1N2的”达限归零“计数器,即当输入N1(N2)个脉冲后,计数器产生一个脉冲输出,同时回零重新计数。用数学语言表达就是一个mod N1(mod N2)的模计数器。Z1,...,Z5都是基于线性加权模型的神经元。

对照上图可以看出,如果X1和X2同时输入NX2无X1的出现的次数达到N2次,那么由于Z2的抑制性输入起不了作用,Z2产生了N2个脉冲送给模技术器N2,使模计数器N2产生一个脉冲送给Z3,从而清除了Z3的兴奋记忆,结果使Z4不能兴奋,因此,Z5也不能再兴奋,这就是条件反射的消退。

公众号粉丝礼包:
后台关键词:python大礼包
礼包内容:Matlab,数据分析与机器学习实战,数据科学概率基础,数学基础,算法讲解视频
整理不易,还请点击在看与分享,谢谢。

我就知道你“在看”

浏览 55
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报