Rehber Hugging Face’ten indirilecek doğru model dosyası nasıl seçilir?

Hugging Face’te doğru dosyayı seçmek için önce kullandığınız çalıştırıcının desteklediği biçimi, sonra modelin tam kimliğini kontrol edin. Aynı aile adını taşıyan Safetensors, GGUF, instruct ve temel model dosyaları birbirinin yerine rastgele kullanılamaz. Dosyanın indirilmesi, yüklenebilir olduğunu kanıtlamaz.

Önce model kartını okuyun​

Model kartında yayıncı, temel model, kullanım biçimi, lisans ve önerilen çalıştırma koşulları bulunabilir. Bir dönüştürme deposunun adı asıl yayıncıya benzese de aynı kişi veya kurum tarafından yönetiliyor olmayabilir. Özellikle sıkıştırılmış türevde hangi özgün modelden üretildiğini ve kullanılan biçimi doğrulayın.

Dosyayı amaca göre seçin​

1. Çalıştırıcı desteğini belirleyin. Uygulamanızın kabul ettiği biçimi ve mimariyi okuyun. GGUF bekleyen bir arayüze tek bir Safetensors parçası göstermek dosyayı otomatik dönüştürmez.
2. Tam modeli seçin. Aile adı yanında sürüm ve boyutu kontrol edin. Sohbet için hazırlanmış sürümle temel metin tamamlama sürümünü karıştırmayın.
3. Gerekli dosya kümesini inceleyin. Bazı modeller birden fazla ağırlık parçası, yapılandırma ve tokenizer dosyası gerektirir. Yalnız en büyük dosyayı indirmek her zaman yeterli olmaz.
4. Depolama ve çalışma belleğini ayrı değerlendirin. İndirme boyutu diskte gereken yeri gösterir; çalışırken bağlam ve ek bellek de gerekir. Uygulamanın yükleme tahminini inceleyin.
5. Kısa örnekle doğrulayın. Modeli önerilen sohbet düzeniyle açıp yeni bir yanıt alın. Hata varsa tam dosya kimliğini ve çalıştırıcı sürümünü birlikte kontrol edin.

Dosya adındaki sıkıştırma ne anlatır?​

Q4 veya Q8 gibi işaretler ağırlıkların temsil biçimi hakkında bilgi verebilir; aynı aile içindeki her dosyanın aynı kalite ve bellek gerektirdiğini söylemez. Sıkıştırma seçimini modelin tamamı, görev ve çalıştırıcı desteğiyle birlikte değerlendirin.

Çalışan dosyanın depo ve sürüm bilgisini kaydedin. Sonradan başka türeve geçince sonucu yalnız aile adına bakarak karşılaştırmayın; farklı şablon, ağırlık veya dönüşüm kullanılmış olabilir.

GGUF dosyası seçmek modelin mutlaka yalnız CPU üzerinde çalışacağı anlamına mı gelir? Dosya biçimiyle hesap yapılacak aygıtı aynı özellik gibi düşünmek kafa karıştırabiliyor. Bir uygulamaya uygun dosyayı seçtikten sonra GPU kullanımını doğrulamak için model adından farklı olarak hangi bilgiyi incelemek gerekir?

Dosya biçimi, modelin nasıl saklandığı ve çalıştırıcının neyi yükleyebildiğiyle ilgilidir. CPU veya GPU yerleşimi ise kullanılan çalıştırıcı, destek ve kaynak koşullarıyla birlikte belirlenir. Bu yüzden biçimden tek başına sonuç çıkarmak yerine yükleme bilgisini ve uygulamanın gösterdiği gerçek aygıt dağılımını okumak gerekir.

Aynı şekilde dosyanın açılması da doğru sohbet davranışını garanti etmez. Instruct sürüm ve uygun mesaj şablonu ayrıca eşleşmeli. Sorun bildirirken tam depo, dosya adı, çalıştırıcı sürümü ve yerleşim bilgisini birlikte vermek, yalnız aile adını yazmaktan daha açıklayıcı olur.