神经网络：请不要开始就让我sigmoid(wTx)，谢谢！

def trainer(m,x,y,rate):
   # x = [word] + [prev_word] + [prev_state]
   # = [1,0] + [0,1,0]
   # y = [tag]
   # = [0,0]
   L0 = np.array([x])
   L1 = softmax(np.dot(L0,m.S0))
   L2 = softmax(np.dot(L1,m.S1))
   e2 = np.array([y]) - L2
   dL2 = e2
   e1 = np.dot(dL2,m.S1.T)
   dL1 = e1
   m.S1 += np.dot(L1.T,dL2)*rate
   m.S0 += np.dot(L0.T,dL1)*rate
   return L1,L2

这么一写起来，其实就和最初提供的第二个超链接文章中RNN的形式很像了，这样RNN也就可以很轻松地理解了，可以继续深入RNN了。至于CRF的复杂形式，就是把W^Tx换成了某个定义好的函数和，称为势函数，并给每个势函数一个权值；这里也很明显了，可以跟小波分析对接上。至此一篇算是建立一个平滑台阶给初入门有点模糊基础并想往机器学习神经网络部分稍微深入一些的人。

痛，就要快乐前进

进入了概率和线性代数链接之后的阶段，就是考虑理解收敛了。连结数值分析的知识吧，二阶牛顿法和嗨森矩阵（竟然发现打出来是这个“嗨“ ovo），各种更快速的拟牛顿法，还有解决非线性拟合而出现的启发式搜索，ACO，PSO，遗传算法，DNA规划…继续奋斗吧！

2016.12.03 J.Y.Liu

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!