From 231e5649990d0c863c6d49d627ce7f788fabe44c Mon Sep 17 00:00:00 2001 From: wdndev Date: Thu, 8 Aug 2024 21:50:51 +0800 Subject: [PATCH] format --- code/02_micro_grad/README.md | 4 ++-- docs/02_micro_grad.md | 6 +++--- 2 files changed, 5 insertions(+), 5 deletions(-) diff --git a/code/02_micro_grad/README.md b/code/02_micro_grad/README.md index 6bf3a42..7acf133 100644 --- a/code/02_micro_grad/README.md +++ b/code/02_micro_grad/README.md @@ -9,11 +9,11 @@ ## 2.梯度 在数学中,梯度是一个矢量函数,表示函数在某点的方向导数的最大值,对于函数的梯度计算公式如下: + $$ -\ \operatorname{grad} f=\left(\frac{\partial f}{\partial x}, \frac{\partial f}{\partial y}, \frac{\partial f}{\partial z}\right)=\frac{\partial f}{\partial x} \vec{i}+\frac{\partial f}{\partial y} \vec{j}+\frac{\partial f}{\partial z} \vec{k} -\ $$ + 在深度学习中,梯度被用来描述神经网络中某一层的输出对输入的敏感程度,即权重更新的方向。简单来说,梯度指示了损失函数在参数空间中的变化方向,是优化算法调整模型参数的重要依据。 在深度学习中,梯度更新主要通过反向传播来实现。反向传播是一种通过计算损失函数对神经网络中每一层的偏导数来更新权重的算法。它首先将输入信号向前传播,计算每一层的输出和预期结果的误差,然后反向传播这个误差来逐层调整权重。 diff --git a/docs/02_micro_grad.md b/docs/02_micro_grad.md index 7f50563..08806e2 100644 --- a/docs/02_micro_grad.md +++ b/docs/02_micro_grad.md @@ -10,9 +10,7 @@ 在数学中,梯度是一个矢量函数,表示函数在某点的方向导数的最大值,对于函数的梯度计算公式如下: $$ -\ \operatorname{grad} f=\left(\frac{\partial f}{\partial x}, \frac{\partial f}{\partial y}, \frac{\partial f}{\partial z}\right)=\frac{\partial f}{\partial x} \vec{i}+\frac{\partial f}{\partial y} \vec{j}+\frac{\partial f}{\partial z} \vec{k} -\ $$ 在深度学习中,梯度被用来描述神经网络中某一层的输出对输入的敏感程度,即权重更新的方向。简单来说,梯度指示了损失函数在参数空间中的变化方向,是优化算法调整模型参数的重要依据。 @@ -38,7 +36,9 @@ $$ 对于任意$i = 1, 2, \ldots, n$,链式法则给出: -$$\frac{\partial y}{\partial x_i} = \frac{\partial y}{\partial u_1} \frac{\partial u_1}{\partial x_i} + \frac{\partial y}{\partial u_2} \frac{\partial u_2}{\partial x_i} + \cdots + \frac{\partial y}{\partial u_m} \frac{\partial u_m}{\partial x_i}$$ +$$ +\frac{\partial y}{\partial x_i} = \frac{\partial y}{\partial u_1} \frac{\partial u_1}{\partial x_i} + \frac{\partial y}{\partial u_2} \frac{\partial u_2}{\partial x_i} + \cdots + \frac{\partial y}{\partial u_m} \frac{\partial u_m}{\partial x_i} +$$ ## 3.计算图