神经网络如何模拟任意函数？

机器学习与生成对抗网络

共 1373字，需浏览 3分钟

·

2021-10-17 01:15

‍

‍点击上方“机器学习与生成对抗网络”，关注星标

获取有趣、好玩的前沿干货！

来源：知乎—jerryjee

地址：https://zhuanlan.zhihu.com/p/396204813

01

概述

神经网络之所以强大，在于它强大的模拟能力。理论上，它可以以无限小的误差模拟任意函数。

也就是说，可以利用神经网络构建任意函数，得到任意算法。

这里使用一些可视化的样例，帮助大家获得一些直观的理解。

02

一元函数的模拟

直线

这个是最简单的情况，我们使用一个不带激活函数的神经元即可模拟。

f(x)=wx+b

通过调整

w,b

参数，即可模拟任意直线。

阶跃函数Step Function

我们使用一个带Sigmoid激活函数的神经元来模拟。

随着

w

参数继续增大，神经网络就会逐步逼近该函数。

矩形脉冲函数

我们分成几步来模拟：

1. 使用1个神经元来模拟函数的左半部分。

f_{1}(x)=\operatorname{sigmoid}\left(w_{1} x+b_{1}\right)

2. 使用1个神经元来模拟函数的右半部分(上下颠倒)。

f_{2}(x)=\operatorname{sigmoid}\left(w_{2} x+b_{2}\right)

3. 再使用一个神经元将前2步的图像进行合成

f_{3}(x, y)=\operatorname{sigmoid}\left(w_{31} x+w_{32} y+b_{3}\right)

得到的结果很好地近似了目标函数。

其它一元函数

利用矩形脉冲函数，我们很容易近似其它任意函数，就像积分原理一样。

03

二元函数的模拟

平面

这个是最简单的情况，我们使用一个不带激活函数的神经元即可模拟。

f(x, y)=w_{1} x+w_{2} y+b

通过调整

w_1,w_2,b

参数，即可模拟任意平面。

二元阶跃函数Step Function

我们使用一个带Sigmoid激活函数的神经元来模拟。

f(x)=\operatorname{sigmoid}\left(w_{1} x+w_{2} y+b\right)

二元矩形脉冲函数

与一元函数的情况类似，我们分步实现它：

1. 使用一个神经元来模拟函数的一个边缘

f_{1}(x, y)=\operatorname{sigmoid}\left(w_{11} x+w_{12} y+b_{1}\right)

2. 然后我们可以得到以下函数：

3. 最后，可以合成以下函数

最终的神经网络结构如下图所示：

其它二元函数

利用二元矩形脉冲函数，我们很容易近似其它任意二元函数，就像积分原理一样。

n元函数的模拟

原理一样，自己想象！

04

问题

我们已经拥有了数字电路以及软件程序算法，为什么还需要神经网络？

构建与数字电路之上的软件程序也可以模拟任意函数，那为什么还要发明人工神经网络呢？

参考软件

更多内容及可交互版本，请参考App：神经网络与深度学习

猜您喜欢：

等你着陆！【GAN生成对抗网络】知识星球！

CVPR 2021专题1：GAN的改进

CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总

CVPR 2021 | 图像转换今如何？几篇GAN论文

【CVPR 2021】通过GAN提升人脸识别的遗留难题

CVPR 2021生成对抗网络GAN部分论文汇总

经典GAN不得不读：StyleGAN

最新最全20篇！基于 StyleGAN 改进或应用相关论文

超100篇！CVPR 2020最全GAN论文梳理汇总！

附下载 | 《Python进阶》中文版

附下载 | 经典《Think Python》中文版

附下载 | 《Pytorch模型训练实用教程》

附下载 | 最新2020李沐《动手学深度学习》

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！

附下载 |《计算机视觉中的数学方法》分享

浏览 12

点赞

收藏

分享

举报

评论

图片

表情

神经网络如何模拟任意函数？

机器学习算法与Python实战

基函数神经网络及应用

基函数神经网络及应用

基函数神经网络及应用

《基函数神经网络及应用》是作者10余年来基于函数逼近论与神经生物学的相关知识，在前向神经网络理论与应

基函数神经网络及应用

如何反驳「神经网络本质不过是初中生都会的复合函数」?

小白学视觉

人脑如何模拟NLP？

人工神经网络与模拟化计算

现在国内有关神经网络和模拟进化计

人工神经网络与模拟化计算

人工神经网络与模拟进化计算

《人工神经网络与模拟进化计算》较系统全面地讨论了人工神经网络与模拟进化计算的理论和工程应用，特别在学

人工神经网络与模拟进化计算

人工神经网络与模拟进化计算

人工神经网络与模拟进化计算

人工神经网络与模拟化计算

现在国内有关神经网络和模拟进化计

人工神经网络与模拟化计算

神经网络为何非激活函数不可？

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编者荐语激活函数是向神经网络中引入非线性因素，通过激活函数神经网络就可以拟合各种曲线。激活函数是神经网络中一个至关重要的概念，决定了某个神经元是否被激活，判断该神经元获得的信息是否有用，并决定该保留还是该去掉此神经元。

小白学视觉

点赞

收藏

分享

举报