手撸简单神经网络
具体地：一、定义基本参数和网络构建分别为：
定义参数
w,b分别为权重和偏置。z为过激活函数之前的运算值，a为过激活函数之后的值。定义z方便后面反向传播。
定义激活函数：
定义激活函数
然后就可以构建前向传播网络结构了，如下：
网络结构
self.layer为传入的每层节点个数。如[2， 10， 2]意为输入为2维， 中间节点10个， 输出节点2个。中间步骤为基本的矩阵运算。
二、反向传播
反向传播公式：
来自
构建的时候需要用到代价函数的导数，激活函数的导数，并将每层的值保存起来，然后进行参数的更新
反向传播
三、最后按照公式更新参数
更新参数
效果：
效果
链接:
以上就是（手撸简单神经网络）全部内容，收藏起来下次访问不迷路！