*为什么高方差是过拟合

过拟合——>正则化
L1 一般不用，会是模型稀疏

为什么正则化减少了过拟合 λ增加，w降低又因为z=wx+b，则z很小(从正负逼近0)又tanh（激活函数）在0附近是线性的，所以神经元退化（非线性->线性）复杂边界也从非线性->线性

*如果没有非线性激活函数，无论多少层线性层都可以合并为一层简单的線性层
*dropout知识堵住了输出各节点的输入是正常的
对a=0而不是z=0，不要为了简化计算而将z置为0
每次迭代时置为0 的神经元要不同

理解dropout 这样做的好处昰使得神经网络不依赖于任何一个特征在计算机视觉领域dropout很常用

有dropout时loss计算公式不明确，曲线可能不是很好需要先关闭dropout确保loss曲线平稳下降再加入dropout

其他正则化策略 加大数据量（放大，对称旋转）

缺点：同时优化了J和正则化，可能导致两个任务都没有完全做好

训练、测试时嘟使用训练时的μ、σ

梯度消失/爆炸 梯度消失与爆炸<->权重初始化

主要发生在深层神经网络中

深度网络的权重初始化 Xavier：tanh（$\frac{{}^{}}{}$nL?1指上一层神经元个數

一定程度上可以缓解欠拟合

梯度的数值近似 梯度检查：$\frac{}{}$10?7时证明梯度正确

梯度检查应用的注意事项 梯度检查与dropout不能一起使用

发布了1 篇原創文章 · 获赞 0 · 访问量 1