Üç boyutlu görüntü işleme, bir sahnenin yalnızca renk ve parlaklığını değil, nesnelerin kameraya olan uzaklığını ve uzaydaki konumunu da kullanarak analiz edilmesidir. Bu işlemde RGB-D kamera, stereo kamera, ToF sensörü veya LiDAR gibi kaynaklardan alınan veri; derinlik haritası, nokta bulutu, voksel ya da üçgen ağ biçimine dönüştürülür. Böylece bir nesnenin varlığı, ölçüsü, yüzey şekli ve konumu hesaplanabilir. Ancak sonuç, kullanılan sensörün doğruluğu, ışık koşulları, yüzey özellikleri ve eksik derinlik verileriyle sınırlıdır.
İki boyutlu görüntüde her piksel genellikle renk bilgisi taşır. Üç boyutlu görüntüde aynı piksele veya ölçüm noktasına bir derinlik değeri eklenir. Örneğin bir pikselin RGB değeri nesnenin rengini, derinlik değeri ise sensörden uzaklığını gösterebilir.
Yaygın temsil biçimleri şunlardır:
Bir üç boyutlu görüntü işleme uygulaması genellikle sensörden veri alınmasıyla başlar. Ham veride boş ölçümler, sensör gürültüsü veya farklı koordinat sistemleri bulunabilir. Bu nedenle veri önce kalibre edilir ve gerekirse filtrelenir.
Ardından derinlik bilgisi kamera koordinatlarından gerçek dünya koordinatlarına dönüştürülür. Nokta bulutunda her nokta yaklaşık olarak
Örneğin bir masanın üzerindeki kutunun yüksekliğini ölçmek istediğinizi varsayalım. Sensör, masa yüzeyini ve kutunun üst yüzeyini içeren bir nokta bulutu üretir. Yazılım önce masa düzlemini bulur, sonra kutunun üst yüzeyini ayırır ve üst yüzeyin masa düzlemine dik uzaklığını hesaplar. İki yüzey paralelse bu uzaklık kutunun yüksekliğini verir; yalnızca Z ekseni masa düzleminin normaline hizalanmışsa Z değerlerinin farkı doğrudan yükseklik olarak kullanılabilir. Çıktı 0,18 metre ise bu değer, kullanılan ölçüm sistemi ve kalibrasyon doğru olduğu sürece kutunun yaklaşık 18 santimetre yüksekliğe sahip olduğunu gösterir. Bu sonuç kutunun iç hacmini, ağırlığını veya malzeme türünü tek başına kanıtlamaz.
Seçim, uygulamanın derinlik bilgisine gerçekten ihtiyaç duyup duymadığına bağlıdır. Sadece renk, yazı veya düzlem üzerindeki şekil incelenecekse iki boyutlu görüntü yeterli olabilir. Nesnelerin birbirine uzaklığı, yüksekliği veya uzaydaki konumu önemliyse üç boyutlu veri gerekir.
Üç boyutlu veri daha fazla bilgi sağlasa da otomatik olarak daha doğru sonuç üretmez. Örneğin parlak metal, cam veya çok koyu yüzeylerde bazı sensörler güvenilir derinlik ölçemeyebilir. İki kamera kullanan stereo sistemlerde ise yeterli doku bulunmayan düz yüzeylerde eşleştirme zorlaşabilir. Bu nedenle sensör seçimi, hedef ölçüm ve ortam koşulları birlikte değerlendirilmelidir.
Üç boyutlu görüntü işleme; robotların çevresindeki engelleri algılamasında, fabrikalarda parçaların ölçü kontrolünde, üç boyutlu taramada, artırılmış gerçeklik uygulamalarında, haritalamada ve insan hareketlerinin analizinde kullanılabilir. Bir robot uygulamasında amaç yalnızca nesnenin görüntüde bulunup bulunmadığını anlamaksa iki boyutlu algılama yeterli olabilir; robotun nesneye hangi yönden ve ne kadar uzaktan yaklaşacağını hesaplamak gerekiyorsa derinlik bilgisi gerekir.
Bu teknoloji tek başına nesnenin anlamını veya kullanım amacını kesin olarak belirlemez. Derinlik verisi, nesnenin uzaydaki geometrisini açıklar; nesne tanıma için ayrıca görüntü sınıflandırma, özellik çıkarma veya makine öğrenmesi yöntemleri gerekebilir. Ölçüm sonucu üretilecekse sensör kalibrasyonu, birim dönüşümü ve hata payı ayrıca kontrol edilmelidir.
Üç boyutlu görüntü verisi nasıl temsil edilir?
İki boyutlu görüntüde her piksel genellikle renk bilgisi taşır. Üç boyutlu görüntüde aynı piksele veya ölçüm noktasına bir derinlik değeri eklenir. Örneğin bir pikselin RGB değeri nesnenin rengini, derinlik değeri ise sensörden uzaklığını gösterebilir.
Yaygın temsil biçimleri şunlardır:
- Derinlik haritası: Her pikselin kameraya uzaklığını sayısal olarak tutar. Yakın bölgeler ve uzak bölgeler farklı derinlik değerleriyle gösterilir.
- Nokta bulutu: Her ölçüm noktası, uzaydaki X, Y ve Z koordinatlarıyla ifade edilir. Renk bilgisi varsa noktalara RGB değeri de eklenebilir.
- Voksel: Uzay küçük üç boyutlu hücrelere ayrılır. Her hücre dolu, boş veya belirli bir yoğunlukta olarak işaretlenebilir.
- Üçgen ağ: Noktalar birleştirilerek nesnenin yüzeyini temsil eden üçgenlerden oluşan bir model üretilir.
İşleme süreci hangi aşamalardan oluşur?
Bir üç boyutlu görüntü işleme uygulaması genellikle sensörden veri alınmasıyla başlar. Ham veride boş ölçümler, sensör gürültüsü veya farklı koordinat sistemleri bulunabilir. Bu nedenle veri önce kalibre edilir ve gerekirse filtrelenir.
Ardından derinlik bilgisi kamera koordinatlarından gerçek dünya koordinatlarına dönüştürülür. Nokta bulutunda her nokta yaklaşık olarak
(X, Y, Z) biçiminde ifade edilir. Gürültülü veya ilgisiz noktalar ayıklandıktan sonra düzlem bulma, nesne ayırma, yüzey ölçme, hareket izleme veya üç boyutlu model oluşturma gibi işlemler yapılabilir.Örneğin bir masanın üzerindeki kutunun yüksekliğini ölçmek istediğinizi varsayalım. Sensör, masa yüzeyini ve kutunun üst yüzeyini içeren bir nokta bulutu üretir. Yazılım önce masa düzlemini bulur, sonra kutunun üst yüzeyini ayırır ve üst yüzeyin masa düzlemine dik uzaklığını hesaplar. İki yüzey paralelse bu uzaklık kutunun yüksekliğini verir; yalnızca Z ekseni masa düzleminin normaline hizalanmışsa Z değerlerinin farkı doğrudan yükseklik olarak kullanılabilir. Çıktı 0,18 metre ise bu değer, kullanılan ölçüm sistemi ve kalibrasyon doğru olduğu sürece kutunun yaklaşık 18 santimetre yüksekliğe sahip olduğunu gösterir. Bu sonuç kutunun iç hacmini, ağırlığını veya malzeme türünü tek başına kanıtlamaz.
İki boyutlu ve üç boyutlu görüntü işleme arasındaki fark
Seçim, uygulamanın derinlik bilgisine gerçekten ihtiyaç duyup duymadığına bağlıdır. Sadece renk, yazı veya düzlem üzerindeki şekil incelenecekse iki boyutlu görüntü yeterli olabilir. Nesnelerin birbirine uzaklığı, yüksekliği veya uzaydaki konumu önemliyse üç boyutlu veri gerekir.
| Ölçüt | İki boyutlu görüntü işleme | Üç boyutlu görüntü işleme |
|---|---|---|
| Temel veri | Piksel, renk ve parlaklık | Derinlik ve uzaysal koordinatlar; isteğe bağlı renk |
| Ölçülebilen bilgi | Görüntü üzerindeki genişlik ve konum | Uzaklık, yükseklik, hacim ve yüzey şekli |
| Yaygın kullanım | Belge okuma, renk ayırma, düzlemsel nesne tanıma | Robotik, üç boyutlu tarama, hacim ölçümü, otonom sistemler |
| Başlıca zorluk | Gölge, ışık ve nesnelerin üst üste binmesi | Derinlik gürültüsü, örtülme, yansıtıcı yüzeyler ve kalibrasyon |
Nerelerde kullanılır?
Üç boyutlu görüntü işleme; robotların çevresindeki engelleri algılamasında, fabrikalarda parçaların ölçü kontrolünde, üç boyutlu taramada, artırılmış gerçeklik uygulamalarında, haritalamada ve insan hareketlerinin analizinde kullanılabilir. Bir robot uygulamasında amaç yalnızca nesnenin görüntüde bulunup bulunmadığını anlamaksa iki boyutlu algılama yeterli olabilir; robotun nesneye hangi yönden ve ne kadar uzaktan yaklaşacağını hesaplamak gerekiyorsa derinlik bilgisi gerekir.
Bu teknoloji tek başına nesnenin anlamını veya kullanım amacını kesin olarak belirlemez. Derinlik verisi, nesnenin uzaydaki geometrisini açıklar; nesne tanıma için ayrıca görüntü sınıflandırma, özellik çıkarma veya makine öğrenmesi yöntemleri gerekebilir. Ölçüm sonucu üretilecekse sensör kalibrasyonu, birim dönüşümü ve hata payı ayrıca kontrol edilmelidir.
Son düzenleme:
