2 篇文档带有标签「梯度下降」

批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（Mini-batch SGD）是机器学习（特别是深度学习）中优化算法的基石。为了直观地理解，我们可以使用一个经典的"下山"比喻，结合具体的数学原理来解释。

线性回归是机器学习中最基础的模型之一。虽然 PyTorch 的 backward() 方法能自动完成复杂的计算图反向传播，但手动推导梯度计算的数学过程，对于理解深度学习的核心原理至关重要。