深度学习PyTorch笔记（5）：广播机制与内存开销

这是《动手学深度学习》（PyTorch版）（Dive-into-DL-PyTorch）的学习笔记，里面有一些代码是我自己拓展的。

其他笔记在专栏 深度学习 中。

1.3 广播机制

当对两个形状不同的Tensor按元素运算时，可能会触发广播（broadcasting）机制：先适当复制元素使这两个Tensor形状相同后再按元素运算。

x = torch.tensor([[1, 2]])
y = torch.tensor([[1], [2], [3]])
print(x + y)

tensor([[2, 3],
        [3, 4],
        [4, 5]])

x中第一行的2个元素被广播（复制）到了第二行和第三行，而y中第一列的3个元素被广播（复制）到了第二列。如此，就可以对2个3行2列的矩阵按元素相加。即：

x = torch.tensor([[1, 2], [1, 2], [1, 2]])
y = torch.tensor([[1, 1], [2, 2], [3, 3]])
print(x + y)

tensor([[2, 3],
        [3, 4],
        [4, 5]])

1.4 运算的内存开销

索引操作是不会开辟新内存的，而像y = x + y这样的运算是会新开内存的，然后将y指向新内存。

x = torch.tensor([1, 2])
y = torch.tensor([3, 4])
id_before = id(y)
y = y + x
print(id(y) == id_before)

False

如果想指定结果到原来的y的内存，我们可以使用前面介绍的索引来进行替换操作：

x = torch.tensor([1, 2])
y = torch.tensor([3, 4])
id_before = id(y)
y[:] = y + x
print(id(y) == id_before)

True

x = torch.tensor([1, 2])
y = torch.tensor([3, 4])
id_before = id(y)
torch.add(x, y, out=y) # y += x, y.add_(x)
print(id(y) == id_before) # True

True

上面是通过索引替换到y，或者也可以引入一个新的矩阵z：

z = torch.zeros_like(y)  #表示z的数值全为0，但是z的形状和数据类型与y相同
z_before = id(z)
z[:] = x + y
print(z_before == id(z))

True

对于view()，虽然view返回的Tensor与源Tensor是共享data的，但是依然是一个新的Tensor（因为Tensor除了包含data外还有一些其他属性），二者id（内存地址）并不一致。