Garfield
YZF Admin
PyTorch’ta
Bu örnekte
Burada
Gradyan bağlantısını da kesmek istiyorsanız genellikle
Bu kullanımda
Aşağıdaki ayrım, hangi seçeneğin uygun olduğunu hızlıca gösterir:
Model içinde bir tensörü değiştirmeden önce özgün değerini korumak, iki hesaplama dalında aynı başlangıç verisini ayrı ayrı değiştirmek veya ara sonucu daha sonra kullanmak
Bununla birlikte her atamada
Model ağırlıklarını eğitim grafiğinden bağımsız olarak saklamak istediğinizde ise yalnızca
clone(), bir tensörün verisini ayrı belleğe kopyalamak gerektiğinde kullanılır. Kopya üzerinde yapılan değer değişiklikleri özgün tensörü etkilemez; ancak clone() işlemi otomatik türev grafiğini koruduğu için kopya üzerinden hesaplanan gradyanlar özgün tensöre geri yayılabilir. Model içinde tensörü güvenle değiştirmek, ara sonucu saklamak veya aynı veriden bağımsız bir tensör oluşturmak istediğinizde uygundur.clone() ne yapar?
clone(), tensörün değerlerini yeni bir bellek alanına kopyalar. Bu nedenle iki tensör aynı değerlere sahip olsa da aynı depolama alanını paylaşmaz:
Python:
import torch
x = torch.tensor([1.0, 2.0, 3.0])
y = x.clone()
y[0] = 99.0
print(x) # tensor([1., 2., 3.])
print(y) # tensor([99., 2., 3.])Bu örnekte
y üzerinde yapılan değişiklik x değerini değiştirmez. Basit atama olan y = x kullanılsaydı yeni bir kopya oluşmaz, iki değişken aynı tensörü gösterirdi.Otomatik türev açısından farkı
clone() yalnızca veriyi kopyalamaz; tensörün requires_grad ve otomatik türev ilişkisini de bağlama uygun biçimde korur. Bu, kopyayı model hesabının bir parçası olarak kullanmak istediğinizde önemlidir:
Python:
import torch
x = torch.tensor([2.0], requires_grad=True)
y = x.clone()
z = y * 3
z.backward()
print(x.grad) # tensor([3.])Burada
y, x değerlerinin bağımsız bellek kopyasıdır; fakat z üzerinden geriye doğru hesap yapıldığında gradyan x üzerinde birikir. Yani clone() bellek paylaşımını keser, otomatik türev bağlantısını kendiliğinden kesmez.Gradyan bağlantısını da kesmek istiyorsanız genellikle
detach().clone() kullanılır:
Python:
y = x.detach().clone()Bu kullanımda
y ayrı bellektedir ve x ile aynı otomatik türev grafiğine bağlı değildir. Tersine, yalnızca detach() kullanmak bellek kopyası oluşturmaz; sonuç özgün verinin depolama alanını paylaşabilir. Bu nedenle hem bağımsız veri hem de bağımsız türev davranışı isteniyorsa iki işlemin birlikte kullanılması daha açıktır.Aşağıdaki ayrım, hangi seçeneğin uygun olduğunu hızlıca gösterir:
| Kullanım | Bellek kopyası | Autograd bağlantısı | Uygun durum |
|---|---|---|---|
| x = y | Hayır | Aynı tensör | Yeni kopya gerekmiyorsa |
y = x.detach() | Hayır; veri paylaşılır | Kesilir | Gradyanı durdurup veriyi paylaşmak gerekiyorsa |
y = x.clone() | Evet | Korunur | Veriyi bağımsız kopyalayıp hesabı grafikte tutmak gerekiyorsa |
y = x.detach().clone() | Evet | Kesilir | Tamamen bağımsız bir çalışma kopyası gerekiyorsa |
Hangi durumlarda kullanılır?
Model içinde bir tensörü değiştirmeden önce özgün değerini korumak, iki hesaplama dalında aynı başlangıç verisini ayrı ayrı değiştirmek veya ara sonucu daha sonra kullanmak
clone() için yaygın durumlardır. Örneğin bir tensör üzerinde maskeleme, normalleştirme ya da yerinde (in-place) değişiklik yapılacaksa kopya almak özgün ara sonucu koruyabilir.Bununla birlikte her atamada
clone() kullanmak gerekmez. Tensörü yalnızca başka bir isimle kullanacaksanız y = x yeterlidir. Kopyalama işlemi ek bellek ve çalışma maliyeti oluşturur; büyük tensörlerde gereksiz clone() kullanımı bellek tüketimini artırabilir.Model ağırlıklarını eğitim grafiğinden bağımsız olarak saklamak istediğinizde ise yalnızca
clone() kullanmak çoğu durumda yeterli değildir. Böyle bir amaçta kopyanın gradyan geçmişinden ayrılması gerekir; bu nedenle param.detach().clone() biçimi daha uygun olur. Kopyayı daha sonra başka bir cihaza taşıyacaksanız işlem sırasını kullanım amacınıza göre belirleyin; temel ayrım, kopyanın hem ayrı bellekte olması hem de autograd grafiğine bağlı kalıp kalmamasıdır.Sık sorulan sorular
clone() ile copy.deepcopy() aynı şey midir?
Hayır.
clone() tek bir tensörün verisini kopyalamak için kullanılır. copy.deepcopy() ise Python nesnelerinin ve iç içe yapıların tamamını kopyalamayı amaçlar. Bir modelin veya karmaşık veri yapısının tümünü kopyalama ihtiyacı ile tek bir tensörü kopyalama ihtiyacını birbirine karıştırmamak gerekir.
Son düzenleme:
