100行Python代码，轻松搞定神经网络

接下来看看另一个常用的层，激活层。它们属于点式(pointwise)非线性函数。点式函数的 Jacobian矩阵是对角矩阵, 这意味着当乘以梯度时, 它是逐点相乘的。

class ReLu(Layer): 
  def forward(self, X): 
    mask = X > 0 
    return X * mask, lambda D: D * mask 

计算Sigmoid函数的梯度略微有一点难度，而它也是逐点计算的：

class Sigmoid(Layer): 
  def forward(self, X): 
    S = 1 / (1 + np.exp(-X)) 
    def backward(D): 
      return D * S * (1 - S) 
    return S, backward 

当我们按序构建很多层后，可以遍历它们并先后得到每一层的输出，我们可以把backward函数存在一个列表内，并在计算反向传播时使用，这样就可以直接得到相对于输入层的损失梯度。就是这么神奇：

class Sequential(Layer): 
  def __init__(self, *layers): 
    super().__init__() 
    self.layers = layers 
    for layer in layers: 
      self.parameters.extend(layer.parameters) 
 
  def forward(self, X): 
    backprops = [] 
    Y = X 
    for layer in self.layers: 
      Y, backprop = layer.forward(Y) 
      backprops.append(backprop) 
    def backward(D): 
      for backprop in reversed(backprops): 
        D = backprop(D) 
      return D 
    return Y, backward 

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!