Sign in
There are a total of 3 posts.
2025-12-19
本文阐述深度学习中梯度消失（Vanishing Gradient）现象的根源，解析 Sigmoid 与链式法则如何导致梯度衰减，并详细介绍 ReLU 与 ResNet 如何有效解决该问题，提供实战应用建议。
本文以通俗易懂的方式阐述了反向传播（Backpropagation）如何帮助 AI 找出错误根源，链式法则（Chain Rule）与 PyTorch Autograd 自动计算梯度的原理，以及深度网络中梯度消失（Vanishing Gradient）问题的成因与解决思路。
2025-12-17
我从开发者的视角，解释了为什么在深度学习中“求导”是必不可少的。在线性代数与非线性函数组合而成的模型中，导数就像一只指针，用来告诉我们如何调整方向以减小误差，并通过梯度下降和反向传播高效完成训练。文章还分步骤说明了导数如何更新参数，以及如何帮助我们在非线性带来的复杂损失曲面上更好地优化模型。
