备注
点击:ref:这里 <sphx_glr_download_beginner_basics_autogradqs_tutorial.py> 下载完整代码示例
学习基础 || 快速入门 || 张量 || 数据集与数据加载器 || 变换 || 构建模型 || 自动梯度 || 优化 || 保存和加载模型
使用 torch.autograd 实现自动微分¶
Created On: Feb 10, 2021 | Last Updated: Jan 16, 2024 | Last Verified: Nov 05, 2024
在训练神经网络时，最常用的算法是 反向传播。在该算法中，参数（模型权重）会根据损失函数相对于给定参数的 梯度 进行调整。
为了计算那些梯度，PyTorch 有一个内置的微分引擎 torch.autograd。它支持对任何计算图进行梯度的自动计算。
考虑最简单的单层神经网络，其输入为 x，参数为 w 和 b，以及某个损失函数。它可以按照以下方式在 PyTorch 中定义：
import torch
x = torch.ones(5) # input tensor
y = torch.zeros(3) # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)
张量、函数和计算图¶
这段代码定义了以下 计算图：
在这个网络中，w 和 b 是需要优化的 参数。因此，我们需要能够计算损失函数对这些变量的梯度。为此，我们设置这些张量的 requires_grad 属性。
备注
你可以在创建张量时设置 requires_grad 的值，或者稍后通过使用 x.requires_grad_(True) 方法设置。
构造计算图时，我们应用于张量的函数实际上是一个类 Function 的对象。该对象不仅知道如何在*前向传播*方向上计算函数，还知道如何在*反向传播*步骤中计算其导数。反向传播函数的引用保存在张量的 grad_fn 属性中。您可以在 文档中 找到有关 Function 的更多信息。
Gradient function for z = <AddBackward0 object at 0x7f057d00b730>
Gradient function for loss = <BinaryCrossEntropyWithLogitsBackward0 object at 0x7f057cf216f0>
计算梯度¶
为了优化神经网络中参数的权重，我们需要计算损失函数对参数的导数，即我们需要 \(\frac{\partial loss}{\partial w}\) 和 \(\frac{\partial loss}{\partial b}\)，在某些特定值的 x 和 y 下。为了计算这些导数，我们调用 loss.backward()，然后从 w.grad 和 b.grad 检索值：
loss.backward()
print(w.grad)
print(b.grad)
tensor([[0.1746, 0.0072, 0.3310],
[0.1746, 0.0072, 0.3310],
[0.1746, 0.0072, 0.3310],
[0.1746, 0.0072, 0.3310],
[0.1746, 0.0072, 0.3310]])
tensor([0.1746, 0.0072, 0.3310])
备注
我们只能获取计算图中叶子节点的
grad属性，这些节点的requires_grad属性设置为True。对于计算图中所有其他节点，梯度将不可用。出于性能原因，我们只能在给定的图上使用一次
backward进行梯度计算。如果我们需要在同一个图上做多次backward调用，我们需要在backward调用时传递retain_graph=True。
禁用梯度跟踪¶
默认情况下，所有设置了 requires_grad=True 的张量都会跟踪它们的计算历史并支持梯度计算。然而，有些情况我们不需要这样做，例如，当我们训练了模型后，只是想在某些输入数据上应用它，也就是说，我们只希望通过网络进行 前向 计算。我们可以通过在计算代码周围使用 torch.no_grad() 块来停止跟踪计算：
z = torch.matmul(x, w)+b
print(z.requires_grad)
with torch.no_grad():
z = torch.matmul(x, w)+b
print(z.requires_grad)
True
False
实现同样结果的另一种方式是对张量使用 detach() 方法：
False
- 以下是可能希望禁用梯度跟踪的原因：
在神经网络中标记一些参数为 冻结参数。
当您只做前向传递时，可以 加速计算，因为不跟踪梯度的张量计算效率更高。
更多关于计算图的信息¶
从概念上讲，autograd 会记录数据（张量）及所有已执行的操作（以及由此生成的新张量），这些记录组成了由 Function 对象构成的有向无环图 (DAG)。在这个 DAG 中，叶子是输入张量，根是输出张量。通过从根到叶子追踪这个图，您可以使用链式法则自动计算梯度。
在前向传播时，autograd 同时执行两个操作：
运行请求的操作以计算结果张量
在 DAG 中维护操作的 梯度函数。
当在 DAG 根节点调用 .backward() 时，反向传播开始。然后 autograd：
从每个
.grad_fn中计算梯度，将梯度累积到相应张量的
.grad属性中使用链式法则，一路传播到叶子张量。
备注
PyTorch 中的 DAG 是动态的。需要注意的一点是，在每次调用 .backward() 后，图都会从头开始重新创建；autograd 开始填充一个新的图。这正是使您可以在模型中使用控制流语句的原因；如果需要，您可以在每次迭代时更改形状、大小和操作。
选读：张量梯度和雅可比积¶
在很多情况下，我们有一个标量损失函数，需要计算损失函数对某些参数的梯度。然而，也有某些情况下输出函数是任意张量。在这种情况下，PyTorch 允许您计算所谓的 雅可比积，而不是实际梯度。
对于一个矢量函数 \(\vec{y}=f(\vec{x})\)，其中 \(\vec{x}=\langle x_1,\dots,x_n\rangle\) 且 \(\vec{y}=\langle y_1,\dots,y_m\rangle\)， \(\vec{y}\) 对 \(\vec{x}\) 的梯度由 雅可比矩阵 给出：
PyTorch 允许您为给定的输入矢量 \(v=(v_1 \dots v_m)\) 计算 雅可比积 \(v^T\cdot J\)，而不是直接计算雅可比矩阵本身。这可以通过将 \(v\) 作为参数传递给 backward 方法来完成。 \(v\) 的大小应该与我们想要计算积的原始张量的大小相同：
inp = torch.eye(4, 5, requires_grad=True)
out = (inp+1).pow(2).t()
out.backward(torch.ones_like(out), retain_graph=True)
print(f"First call\n{inp.grad}")
out.backward(torch.ones_like(out), retain_graph=True)
print(f"\nSecond call\n{inp.grad}")
inp.grad.zero_()
out.backward(torch.ones_like(out), retain_graph=True)
print(f"\nCall after zeroing gradients\n{inp.grad}")
First call
tensor([[4., 2., 2., 2., 2.],
[2., 4., 2., 2., 2.],
[2., 2., 4., 2., 2.],
[2., 2., 2., 4., 2.]])
Second call
tensor([[8., 4., 4., 4., 4.],
[4., 8., 4., 4., 4.],
[4., 4., 8., 4., 4.],
[4., 4., 4., 8., 4.]])
Call after zeroing gradients
tensor([[4., 2., 2., 2., 2.],
[2., 4., 2., 2., 2.],
[2., 2., 4., 2., 2.],
[2., 2., 2., 4., 2.]])
请注意，当我们使用相同参数第二次调用 backward 时，梯度的值是不同的。这是因为在执行 backward 传播时，PyTorch 累积梯度，即计算出的梯度值会添加到计算图的所有叶子节点的 grad 属性中。如果您想要计算正确的梯度，需要先将 grad 属性置为零。在实际的训练中，优化器 会帮助我们完成这一步。
备注
之前我们调用 backward() 函数时没有传参。这实际上相当于调用 backward(torch.tensor(1.0))，这对于计算标量值的函数（例如神经网络训练中的损失）来说是一种实用的方法。
