Pencere yansımasını fotoğraftan temizleyen algoritma
Çift-camlı pencerelerden yapılan çekimler neredeyse her zaman içeriye bir yansıma verir. YiChang Shih liderliğindeki ekip bu yansımayı otomatik olarak dijital fotodan kaldıracak bir algoritma geliştirdi. Görüntüleri 8-e-8 piksel bloklarına bölüp her bir pikselin başka piksellerle bağlantısını saptayan algoritma, Kudüs İbrani Üniversitesi’nden Daniel Zoran ve Yair Weiss’ın çalışmasının üzerine inşa edildi. Onların tekniği fotolardaki küçücük kesitlerden hangisinin yansıma içerdiğini hangisinin gerçek görüntü olduğunu belirleyebiliyor.
Arkanızdaki nesnelerin yansımalarını algılamadan pencereden fotoğraf çekmek zordur. Bu sorunu çözmek için, profesyonel fotoğrafçılar bazen kamera lenslerini bant veya vantuzla pencerelere yapıştırılmış koyu renkli bezlere sararlar. Ancak bu, bir otel odasından veya bir trenin koltuklarından manzarayı yakalamak için kompakt fotoğraf makinesi kullanan bir gezgin için çok çekici bir seçenek değildir.
Bilgisayarla Görme ve Örüntü Tanıma konferansında Massachusetts Teknoloji Enstitüsü (MIT)‘nden araştırmacılar, geniş bir yelpazede dijital fotoğraflardaki yansımaları otomatik olarak kaldırabilen yeni bir algoritma sundu. Algoritma, pencerelerden çekilen fotoğrafların genellikle birbirinden biraz uzak neredeyse aynı olan iki yansımaya sahip olduğu gerçeğinden yararlanır.
MIT’de bilgisayar bilimi doktorasını tamamlayan ve makalenin baş yazarı olan YiChang Shih, “Boston’da pencereler genellikle kış aylarında ısı yalıtımı için çift camlı pencerelerdir. Bu tür bir pencerede, iç bölmeden bir yansıma ve dış bölmeden başka bir yansıma geliyor. Ancak kalın pencereler genellikle çift yansıma oluşturmak için yeterlidir. İç taraf ve dış taraf da birer yansıma verecektir.” diyor.
Shih, yinelenen yansımanın sağladığı ekstra bilgi olmadan, yansımanın kaldırılması sorununun neredeyse çözülemeyeceğini açıklıyor. Shih, “Dışarıdan bir görüntünüz ve iç mekandan başka bir görüntünüz var ve çektiğiniz şey bu iki resmin toplamı. Eğer A + B, C’ye eşitse, o zaman A ve B’yi tek bir C’den nasıl kurtaracaksınız? Bu matematiksel olarak zordur. Bir sonuca varmak için yeterli kısıtlamamız yok.” diyor.
Alanı inceltmek
İkinci yansıma, gerekli kısıtlamayı uygular. Şimdi sorun, A, B ve C’yi tek bir D’den kurtarmak haline geliyor. Ancak, bir piksel için A’nın değeri, önceden belirlenmiş bir yönde sabit bir mesafedeki bir piksel için B’nin değeriyle aynı olmak zorundadır. Bu kısıtlama, algoritmanın dikkate alması gereken çözüm aralığını büyük ölçüde azaltır.
Bununla birlikte, hala bir dizi çözüm var. Temel sezgi, küçük piksel kümeleri düzeyinde, doğal görüntülerde ani renk değişikliklerinin nadir olmasıdır. Ve meydana geldiklerinde, net sınırlar boyunca ortaya çıkarlar. Bu nedenle, küçük bir piksel bloğu mavi bir nesne ile kırmızı bir nesne arasındaki kenarın bir kısmını içeriyorsa, kenarın bir tarafındaki her şey mavimsi olur ve diğer taraftaki her şey kırmızımsı olur.
Bilgisayar görüşünde, bu sezgiyi yakalamaya çalışmanın standart yolu, her bir piksel bloğunu renk değişiminin ana yönüne ve değişim oranına göre karakterize eden görüntü gradyanları kavramıdır. Ancak Shih ve meslektaşları, bu yaklaşımın pek işe yaramadığını gördüler.
Oranları değiştirmek
Sonunda, yeni bir tekniğe karar verdiler. Kudüs İbrani Üniversitesi‘nden Daniel Zoran ve Yair Weiss, görüntüleri 8’e 8 piksel bloğuna bölen bir algoritma yarattı; her blok için, her piksel ve diğerlerinin her biri arasındaki korelasyonu hesaplar. 50.000 eğitim görüntüsündeki 8’e 8 blokların tümü için toplu istatistikler, yansımaları camdan çekilen görüntülerden ayırt etmenin güvenilir bir yolunu kanıtladı.
Makalelerinde, Shih ve meslektaşları Google’da ve Flickr fotoğraf veritabanında “pencere yansıması fotoğrafçılığı sorunları” gibi terimler kullanarak arama yaptıklarını bildirdi. Fotoğrafların camdan atılmadığı sonuçları hariç tuttuktan sonra, 96’sı algoritmalarının çalışmasına yetecek kadar dengelenmiş çift yansıma sergileyen 197 görüntü elde ettiler.
İsrail’deki Technion’da elektrik mühendisliği profesörü olan Yoav Schechner, “İnsanlar fotoğraflardan bu yansımaları ortadan kaldırmak için yöntemler üzerinde çalıştılar, ancak geçmiş yaklaşımlarda dezavantajlar vardı. Bazı yöntemler tek bir atış yapmaya çalışır. Bu çok zordur, bu nedenle önceki sonuçlar kısmen başarılı olmuştur ve kurtarılan sahnenin pencereden mi yoksa pencerenin arkasından mı yansıtıldığını anlamanın otomatik bir yolu yoktu. Bu çalışma birçok cephede iyi bir iş çıkarıyor.” diyor.
Schechner, “Algoritma daha da sağlamlaştırılırsa ve dijital fotoğrafçılıkta kullanılan araç kutularının bir parçası olursa, buradaki fikirler rutin fotoğrafçılığa doğru ilerleyebilir” diye ekliyor.
