Rehber Yerel modelde Q4 ve Q8 arasında nasıl seçim yapılır?

Q4 ile Q8 seçimini yalnız dosya boyutuna bakarak yapmayın. Daha düşük bitli temsil genellikle ağırlık depolamasını azaltır, fakat görev kalitesi ve hız sonucu model, yöntem ve donanıma göre değişir. Önce aynı temel modelin uyumlu iki türevini kendi işinizde karşılaştırın.

İsim aynı olsa da bütün dosyalar eşit değildir​

Q4_K_M gibi ayrıntılı bir etiket, yalnız dört bit sözcüğünden daha belirli bir yöntemi anlatır. Bir depodaki her Q4 dosyasını başka bir deponun Q4 dosyasıyla eşdeğer saymayın. Dönüştürmenin kaynağı ve model sürümü de karşılaştırmada aynı olmalıdır.

Kendi görevinizle seçim yapın​

1. Temel modeli sabitleyin. Aynı yayıncı, sürüm ve sohbet türüne ait türevler seçin. Farklı model ailelerini sıkıştırma deneyi diye karşılaştırmayın.
2. Belleğe sığan seçeneği belirleyin. Yalnız dosyanın değil bağlamla birlikte çalışma gereksiniminin de karşılandığını görün. Yüklenemeyen türevle hız kıyaslaması yapılamaz.
3. Üç temsilî görev hazırlayın. Örneğin kısa Türkçe özet, beklenen sonucu bilinen akıl yürütme ve gerçek kullanacağınız kod açıklaması seçin. Aynı girdileri iki türeve verin.
4. Sonuçları ayrı ölçütlerle okuyun. Anlam hatası, talimata uyma ve eksik bilgi üretimini hızdan ayrı değerlendirin. Uzun cevap her zaman daha iyi cevap değildir.
5. Gerçek bağlam uzunluğunda tekrar deneyin. Kısa mesajda çalışan seçenek uzun belgede kaynak sınırına takılabilir. Kullanımınıza uygun kararı bu koşulda verin.

Hangi durumda daha küçük türev mantıklı?​

Daha düşük bitli dosya GPU’ya tamamen sığarken diğeri kısmen CPU’da kalabilir. Böyle bir durumda küçük türev pratik kullanım açısından avantaj sağlayabilir; fakat görevdeki doğruluğunu ayrıca kontrol edin. Donanımdan bağımsız kesin hız veya kalite yüzdesi vermek doğru değildir.

Zaten sıkıştırılmış dosyayı tekrar sıkıştırmak, yüksek hassasiyetli özgün ağırlıktan üretimle aynı bilgiye sahip değildir. Hazır türev kullanıyorsanız güvenilir yayıncıyı ve dönüşüm açıklamasını inceleyin. Çalışan seçimle birlikte tam dosya adını kaydedin; yalnız Q4 kullanıyorum demek sorunu yeniden üretmek için yeterli olmaz.