Yerel model için RAM mi VRAM mi daha önemlidir?

RAM ve VRAM farklı bellek alanlarıdır; hangisinin belirleyici olduğu modelin nerede çalıştırıldığına bağlıdır. CPU üzerinde çalışan model sistem RAM’ini, GPU’ya yüklenen bölümler ekran kartı belleğini kullanır. Çok RAM bulunması, az VRAM’in bütün hız ve kapasite sınırlarını ortadan kaldırmaz.

Dosya boyutu toplam bellek değildir​

Model ağırlıklarına ek olarak bağlam, ara hesaplar ve çalıştırıcının kendi alanı gerekir. Varsayımsal olarak 8 milyar ağırlığın tam 4 bit ile saklandığını düşünürseniz yalnız ağırlık verisi yaklaşık 4 milyar bayt eder. Bu kaba aritmetik, gerçek GGUF boyutu veya çalışmak için gereken toplam VRAM tahmini değildir; ek metadata, farklı temsil ve çalışma belleği sonucu değiştirir.


Paylaşımlı bellek kullanan mimarilerde fiziksel düzen farklı olabilir. Bu yüzden ayrı ekran kartı için yazılmış basit toplama kuralını bütün bilgisayarlara uygulamayın.

Kendi kurulumunuzda gereksinimi belirleyin​

1. Tam modeli kaydedin. Boyut, sıkıştırma ve çalıştırıcı sürümünü belirleyin. Yalnız aile adı yeterli değildir.
2. Kısa bağlamla yükleyin. Diğer büyük uygulamaları kapatıp bellek kullanımının model öncesi ve sonrası durumunu karşılaştırın.
3. CPU/GPU dağılımını okuyun. Çalıştırıcının yükleme bilgisi veya Ollama’da ollama ps çıktısı nerede hesap yapıldığını gösterebilir.
4. Gerçek görevinizi deneyin. Kullanacağınız belge veya sohbet uzunluğunda bellek ve bekleme davranışını yeniden kontrol edin.

Bir model kısmen RAM’e taşarak çalışabilir, fakat bu düzenin hızı donanım ve yazılıma göre değişir. Donanım satın alma kararını yalnız toplam bellek rakamından vermeyin; destek, gereken görev ve doğrulanmış çalışma örneğini birlikte değerlendirin.

Model dosyasının boyutu boş VRAM’den küçük olduğunda yine de bellek hatası oluşabilir mi? Örnek olarak ağırlık dosyası sığıyor gibi görünürken uzun konuşma açıldığını düşünelim. Yalnız indirme boyutunu toplam çalışma belleği kabul etmek, hangi ek kaynakları hesaptan çıkarır?

Ağırlıklara ek olarak bağlam, KV cache, ara hesaplar ve çalıştırıcının kendi alanı gerekir. Bu yüzden dosya boyutu toplam VRAM tahmini değildir. Kısa bağlamla yüklemeyi doğrulayıp gerçek konuşma uzunluğuna kademeli geçmek, modelin temel yüküyle istek sırasında büyüyen belleği ayrı görmeyi sağlar.

RAM’in fazla olması da GPU’ya sığma sorununu aynı hızda çözmez. Çalıştırıcı bazı bölümleri sistem belleğine yerleştirebilir, fakat gecikme donanım ve yazılıma göre değişir. Satın alma kararından önce aynı model ve görevde gerçek yerleşim ile bekleme süresini birlikte değerlendirmek daha anlamlıdır.