TensorFlow Lite nedir ve cihaz üzerinde model çalıştırmada ne işe yarar?

TensorFlow Lite, eğitilmiş bir makine öğrenmesi modelini sunucuya sürekli veri göndermeden Android telefon, gömülü sistem veya başka bir uç cihazda çalıştırmaya yarayan hafif bir çalışma ortamıdır. Güncel adı LiteRT olan bu çalışma ortamında .tflite model dosyası biçimi korunur. Yeni proje ve çalışma zamanı seçimi için resmî LiteRT başlangıç rehberini kullanın. Modeli TensorFlow Lite biçimine dönüştürüp cihaz uygulamasına eklediğinizde kamera görüntüsü, ses veya sensör verisi cihazda işlenir ve modelin tahmini doğrudan uygulamaya döner. Böylece çevrimdışı çalışma, daha düşük gecikme ve verinin cihazdan çıkmaması gibi avantajlar elde edebilirsiniz.

TensorFlow Lite tam olarak ne yapar?​

TensorFlow Lite, model eğitmekten çok eğitilmiş modeli cihaz üzerinde çalıştırma aşamasına odaklanır. Eğitim genellikle güçlü bir bilgisayarda veya sunucuda yapılır. Eğitim tamamlandıktan sonra model daha küçük ve cihazda çalışmaya uygun bir biçime dönüştürülür. Uygulama bu modeli yükler, giriş verisini modelin beklediği biçime çevirir ve sonucu alır.

Örneğin bir kedi-köpek sınıflandırma modeli için akış şöyledir: Kamera görüntüsü yeniden boyutlandırılır, piksel değerleri modelin beklediği aralığa getirilir, TensorFlow Lite modeli görüntüyü işler ve iki sınıfa ait olasılık benzeri skorlar üretir. Çıktı [0.08, 0.92] ise ve sınıf sırası [kedi, köpek] olarak tanımlanmışsa uygulama bunu “köpek sınıfı daha yüksek skor aldı” şeklinde yorumlayabilir. Bu sonuç, görüntünün kesin olarak köpek olduğunu kanıtlamaz; yalnızca modelin tanımlı sınıflar içinde yaptığı tahmini gösterir.

Cihaz üzerinde çalıştırma süreci​

Modeli kullanırken yalnızca dosyayı uygulamaya eklemek yeterli değildir. Girdi şekli, veri türü, normalizasyon yöntemi ve çıktı etiketlerinin modelle aynı olması gerekir.

1. Modeli eğitin veya hazır bir modeli seçin. Modelin hangi girdiyi kabul ettiğini, çıktı tensörlerinin ne anlama geldiğini ve sınıf sırasını öğrenin. Bu bilgiler bilinmiyorsa uygulamanın ürettiği skorlar doğru yorumlanamaz.
2. Modeli TensorFlow Lite biçimine dönüştürün. Dönüştürme sırasında modelin desteklediği işlemleri ve hedef cihazın kaynaklarını dikkate alın. Dönüştürme başarılı olsa bile sonuçların özgün modelle aynı doğrulukta olduğu varsayılmamalıdır; örnek verilerle karşılaştırma yapılmalıdır.
3. Model dosyasını uygulamaya ekleyin. Android, gömülü Linux veya başka bir desteklenen ortam için uygun TensorFlow Lite çalışma zamanını kullanın. Uygulama başlarken model dosyasını yükleyin ve giriş-çıkış tensörlerinin boyutlarını kontrol edin.
4. Girdiyi modelin sözleşmesine göre hazırlayın. Görüntüyü beklenen genişlik ve yüksekliğe dönüştürün, renk kanallarını doğru sıraya getirin ve gerekiyorsa normalizasyon uygulayın. Örneğin model 224x224 boyutunda üç kanallı kayan noktalı veri bekliyorsa farklı boyuttaki ham kamera görüntüsü doğrudan verilmemelidir.
5. Çıkarımı çalıştırın ve çıktıyı uygulama sonucuna dönüştürün. Modelin ürettiği skorları etiketlerle eşleştirin. En yüksek skorun seçilmesi yalnızca modelin kendi sınıfları arasındaki tercihtir; güvenilirlik veya gerçek dünyada kesinlik garantisi değildir.
6. Cihaz üzerinde doğrulama yapın. Aynı girdileri mümkünse eğitim veya sunucu tarafındaki modelle karşılaştırın; gecikme, bellek kullanımı, yanlış sınıflandırmalar ve farklı cihazlardaki sonuçları inceleyin. Sonuçlar beklenmiyorsa önce girdi biçimi, ölçekleme, renk sırası ve sınıf etiketlerini kontrol edin.

Neden model cihazda çalıştırılır?​

Sunucu tabanlı çözümde veri önce ağ üzerinden sunucuya gönderilir, model orada çalışır ve sonuç geri gelir. TensorFlow Lite yaklaşımında ise model ve çıkarım işlemi cihazda bulunur. Seçim, uygulamanın veri türüne ve çalışma koşullarına bağlıdır.

Aşağıdaki ayrım hangi yaklaşımın daha uygun olduğunu görmeyi kolaylaştırır.
Bu karşılaştırma, TensorFlow Lite’ın her durumda sunucudan daha iyi olduğu anlamına gelmez. Büyük modeller, sık güncellenen modeller veya yüksek hesaplama gücü isteyen işlemler sunucuda daha uygun olabilir. Buna karşılık kamera önizlemesi, basit ses sınıflandırması, nesne algılama ve sensör verisi analizi gibi düşük gecikmeli işlerde cihaz üzerinde çıkarım avantaj sağlayabilir.

Modeli küçültme ve hızlandırma seçenekleri​

Cihaz kaynakları sınırlı olduğu için modelin boyutu ve hesaplama maliyeti önemlidir. Nicemleme, modeldeki bazı sayısal değerleri daha düşük hassasiyetli biçimlere dönüştürerek dosya boyutunu ve bellek kullanımını azaltabilir. Ancak bu işlem doğrulukta değişikliğe yol açabileceği için temsil edici verilerle test edilmelidir.

Bazı cihazlarda CPU dışında grafik işlemcisi veya özel yapay zekâ hızlandırıcısı kullanılabilir. TensorFlow Lite çalışma zamanındaki uygun hızlandırma seçeneği, çıkarım süresini azaltabilir; fakat her model ve her cihaz aynı hızlandırma yolunu desteklemez. Hızlandırma etkinleştirildiğinde yalnızca daha hızlı çalıştığını varsaymayın; çıktıları ve hata davranışını hedef cihazda ölçün.

TensorFlow Lite neyi sağlamaz?​

TensorFlow Lite modelin doğruluğunu kendiliğinden artırmaz, eksik etiketleri tamamlamaz ve yanlış hazırlanmış girdiyi düzeltemez. Model eğitimi sırasında görülmeyen koşullarda sonuçlar zayıflayabilir. Örneğin yalnızca iyi aydınlatılmış fotoğraflarla eğitilmiş bir model karanlık kamera görüntülerinde düşük performans gösterebilir.

Ayrıca cihaz üzerinde çalıştırmak verinin otomatik olarak güvenli olduğu anlamına gelmez. Model dosyası ve uygulama içindeki çıktılar tersine mühendislikle incelenebilir; hassas veriler için uygulamanın genel güvenlik tasarımı ayrıca değerlendirilmelidir.

Hangi durumda TensorFlow Lite seçilmeli?​

Modelin çevrimdışı çalışması, kısa yanıt süresi veya ham verinin cihazdan çıkmaması önemliyse TensorFlow Lite uygun bir seçenek olabilir. İlk karar için modelin giriş-çıkış biçimini, hedef cihazların işlem gücünü, kabul edilebilir gecikmeyi ve model güncelleme yöntemini birlikte değerlendirin. Küçük bir örnek modelle gerçek hedef cihazlarda bellek, pil, hız ve tahmin kalitesini ölçmeden yalnızca dosya boyutuna bakarak seçim yapmayın.