Rehber Bilgisayara yerel yapay zekâ kurmadan önce ne kontrol edilmeli?

Yerel yapay zekâ kurulumunda önce kullanacağınız uygulamanın işletim sistemi ve işlemcinizi desteklediğini, ardından seçtiğiniz modelin belleğe sığabildiğini kontrol edin. “Uygulama açılıyor” ile “istenen model uygun hızda çalışıyor” farklı sonuçlardır. Başlangıç denemesini en büyük modelle yapmak, uyumluluk sorununu gereksiz kaynak baskısıyla karıştırabilir.

Üç ayrı parçayı düşünün​

Çalıştırıcı uygulama modeli yükler; model dosyası yanıt üretmek için kullanılan ağırlıkları taşır; donanım ise bu hesabı gerçekleştirir. Bir model ailesinin adını bilmek uygun dosyayı seçmek için yeterli değildir. Dosya biçimi, sıkıştırma türü ve kullanılan çalıştırıcının desteği de eşleşmelidir.

İlk kurulumu küçük bir denemeyle planlayın​

1. Sistem bilgilerini alın. İşletim sistemi sürümü, işlemci mimarisi, RAM ve varsa ekran kartı modelini kaydedin. Dizüstündeki paylaşımlı bellekle ayrı ekran kartı VRAM’ini aynı şey sanmayın.
2. Uygulamanın güncel gereksinimini okuyun. Özellikle eski işlemcilerde desteklenen komut seti ve işletim sistemi sürümü belirleyici olabilir. Başka bilgisayarda çalışan kurulumun sizde de çalışacağını varsaymayın.
3. Tek bir kullanım hedefi seçin. Kısa Türkçe sohbet, kod açıklama ve uzun belgeyle çalışma farklı bellek ve kalite gerektirebilir. İlk denemeyi gerçekten kullanacağınız küçük görevle yapın.
4. Uyumlu küçük bir model indirin. Resmî yayıncıyı ve çalıştırıcının desteklediği biçimi doğrulayın. Depolama alanını kontrol edin; model dosyasının boyutu çalışma anındaki toplam bellek değildir.
5. Kısa bir istekle sonucu ölçün. İlk yükleme süresiyle sonraki yanıt süresini ayırın. Uygulama yanıt vermeden kapanıyorsa önce günlükteki uyumluluk veya bellek hatasını okuyun.

Ne zaman donanım değişikliği düşünülür?​

Küçük uyumlu model bile işinizi karşılamıyorsa daha fazla bellek veya farklı donanım değerlendirmek anlamlı olabilir. Ancak yalnız tek bir büyük dosyanın açılmamasından bütün yerel kullanımın imkânsız olduğu sonucu çıkmaz. Daha kısa bağlam, uygun sıkıştırma veya daha küçük model seçeneklerini aynı görevde deneyin.

İlk deneme için hangi uygulama sürümü, model dosyası ve ayarın çalıştığını not edin. Sonraki sorun giderme bu bilinen durumdan başlayabilir; aynı anda çalıştırıcıyı, modeli ve bağlam ayarını değiştirirseniz sorunun kaynağını ayırmak zorlaşır.

Küçük bir modelin açılmasıyla uzun belge işinin uygun hızda çalışması arasında önemli fark var. Örnek olarak ilk kısa soru başarılı, fakat asıl kullanım yüzlerce satırlık metin olsun. Donanım kararına geçmeden önce aynı kurulumda hangi aşamaları ayrı gözlemlemek daha anlamlı olur?

Önce çalışan küçük denemenin model ve ayarını kaydetmek, ardından gerçek girdiyi kademeli eklemek gerekir. İlk model yükleme süresi, girdinin işlenmesi ve cevap üretimi aynı bekleme değildir. Bellek hatası mı yoksa kabul edilemeyecek gecikme mi oluştuğu ayrılırsa, uyumluluk sorunuyla kapasite sorunu birbirine karışmaz.

Birden fazla modeli ve çalıştırıcıyı aynı anda değiştirmek karşılaştırmayı zorlaştırır. Aynı görev ve girdi korunarak tek değişken denenebilir. Böylece daha büyük donanım gerekip gerekmediği, yalnız model dosyasının açılmasına veya tek bir yavaş cevaba dayanarak değil, gerçek kullanım koşuluna göre değerlendirilir.