首页分享 tensor中的data()函数与detach()的区别

tensor中的data()函数与detach()的区别

来源：花匠小妙招时间：2024-12-10 08:36

tensor中的data()函数与detach()的区别

detach()和data生成的都是无梯度的纯tensor,并且通过同一个tensor数据操作，是共享一块数据内存。

import torch t1 = torch.tensor([0,1.],requires_grad=True) t2=t1.detach() t3=t1.data print(t2.requires_grad,t3.requires_grad) --------------------------------------------- output: False, False

x.data和x.detach()新分离出来的tensor的requires_grad=False，即不可求导时两者之间没有区别，但是当当requires_grad=True的时候的两者之间的是有不同：x.data不能被autograd追踪求微分，但是x.detach可以被autograd()追踪求导。

x.data

import torch a = torch.tensor([1,2,3.], requires_grad=True) out = a.sigmoid() out ---------------------------------------------------- output: tensor([0.7311, 0.8808, 0.9526], grad_fn=<SigmoidBackward>) c = out.data c ----------------------------------------------------- output: tensor([0.7311, 0.8808, 0.9526]) c.zero_() # 归0化 out ------------------------------------------------------ tensor([0., 0., 0.], grad_fn=<SigmoidBackward>) out.sum().backward() a.grad ------------------------------------------------------- output:tensor([0., 0., 0.])

x.detach()

b = torch.tensor([1,2,3.], requires_grad=True) out1 = b.sigmoid() out1 ------------------------------------------------------ output:tensor([0.7311, 0.8808, 0.9526], grad_fn=<SigmoidBackward>) c1 = out1.detach() c1 ------------------------------------------------------ output:tensor([0.7311, 0.8808, 0.9526]) c1.zero_() out1.sum().backward() # 报错是是因为autograd追踪求导的时候发现数据已经发生改变，被覆盖。 ------------------------------------------------------- output: RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation:

总结：

x.data和x.detach()都是从原有计算中分离出来的一个tensor变量，并且都是inplace operation.在进行autograd追踪求倒时，两个的常量是相同。

不同：.data时属性，detach()是方法。 x.data不是安全的，x.detach()是安全的。

参考：
https://zhuanlan.zhihu.com/p/83329768
https://blog.csdn.net/qq_27825451/article/details/96837905