CUDA out of memory, ilgili GPU belleğinde gereken alanın ayrılamadığını gösterir. Model dosyasının sığması bütün isteklerin sığacağını garanti etmez; uzun bağlam, eş zamanlı istekler ve çalışma ara alanları ek bellek ister. Önce hatanın yükleme sırasında mı yoksa yanıt üretirken mi çıktığını belirleyin.
Hata raporuna tam model, sıkıştırma, bağlam, eş zamanlı istek sayısı ve hata anındaki bellek durumunu ekleyin. Yalnız ekran kartının toplam kapasitesini yazmak, sorunun tekrar edilmesi için yeterli değildir.
Ağırlık ve bağlam yükünü ayırın
Model kısa soruda açılıp uzun belgede hata veriyorsa bağlamla büyüyen bellek önemli olabilir. KV cache, önceki token hesaplarını yeniden kullanmak için tutulan önbellektir; boyutu kullanılan mimari ve ayarlara bağlıdır. Farklı modellere tek bir evrensel token başına bellek değeri uygulamayın.Tek değişkenle ilerleyin
- Belleği kullanan süreçleri bulun. Başka model veya uygulamanın VRAM tuttuğunu kontrol edin. Sadece kendi deneme sürecinizi uygun biçimde kapatın; bilinmeyen hizmetleri rastgele sonlandırmayın.
- Tek istek ve kısa bağlamla deneyin. Uzun konuşma geçmişini ve belgeyi çıkarın. Hata kayboluyorsa temel model yüklemesiyle istek yükünü ayırmış olursunuz.
- Eş zamanlılığı azaltın. Birden fazla isteğin veya büyük batch’in ek bellek etkisini değerlendirin. Tek kullanıcının da aynı anda birkaç çağrı başlatabileceğini kontrol edin.
- Uygun daha küçük modeli veya sıkıştırmayı deneyin. Çalıştırıcı ve model desteğine uygun seçenek kullanın. Rastgele veri türü değiştirmek bütün mimarilerde çalışmaz.
- Hedef kullanım boyutuna kademeli dönün. Girdiyi artırıp sınırın nerede oluştuğunu kaydedin. Kullanıcıya sunulan sınır, gerçek çalışma kapasitesiyle uyumlu olmalıdır.
Önbellek temizliği neyi çözmez?
PyTorch’ta önbelleği boşaltmak, hâlâ kullanılan tensor’ların belleğini yok etmez ve büyük modeli sihirli biçimde sığdırmaz. Uygulama referans tuttuğu sürece canlı bellek ihtiyacı devam eder. Geliştirdiğiniz kodda gereksiz sonuç veya hesap grafiği saklanıyorsa asıl kullanım yolunu düzeltin.Hata raporuna tam model, sıkıştırma, bağlam, eş zamanlı istek sayısı ve hata anındaki bellek durumunu ekleyin. Yalnız ekran kartının toplam kapasitesini yazmak, sorunun tekrar edilmesi için yeterli değildir.
