Maryland Üniversitesi‘ndeki araştırmacılar, göz yansımalarını 3D sahnelere dönüştürdüler. Çalışma, 2D fotoğraflardan ortamları yeniden oluşturabilen bir AI teknolojisi olan Nöral Parlaklık Alanları (NeRF) üzerine kurulu. Eye-reflection yaklaşımının herhangi bir pratik uygulama ortaya çıkarmadan önce gidecek uzun bir yolu olsa da, çalışma sonunda bir dizi basit portre fotoğrafından bir ortamı ortaya çıkarabilecek bir teknolojiye büyüleyici bir bakış sağlıyor.
Ekip, kişinin yakın çevresini ayırt etmeye çalışmak için insan gözlerinde yakalanan ışığın ince yansımalarını (tek bir sensörden çekilen ardışık görüntüleri kullanarak) kullandı. Sabit bir kamera konumundan birkaç yüksek çözünürlüklü görüntüyle başladılar ve kameraya doğru bakan hareketli bir kişiyi yakaladılar. Daha sonra yansımaları yakınlaştırdılar, izole ettiler ve gözlerin fotoğraflarda nereye baktığını hesapladılar.
Sonuçlar, kontrollü bir ortamda insan gözünden makul bir şekilde fark edilebilir bir çevresel rekonstrüksiyon göstermekte. Sentetik bir göz kullanılarak yakalanan bir sahne, daha etkileyici bir rüya gibi sahne üretti. Bununla birlikte, Miley Cyrus ve Lady Gaga müzik videolarından göz yansımalarını modelleme girişimi, yalnızca araştırmacıların yalnızca bir LED ızgarası ve bir tripod üzerindeki bir kamera olduğunu tahmin edebilecekleri belirsiz lekeler üretti.
Ekip, kaba ve bulanık sahneleri bile yeniden inşa etmek için önemli engellerin üstesinden geldi. Örneğin, kornea, yansıyan ışığı insanların karmaşık iris dokularından ayırmayı zorlaştıran “doğal gürültü” sunar.
Bunu ele almak için, eğitim sırasında kornea poz optimizasyonu (korneanın konumunu ve yönünü tahmin etmek) ve iris dokusu ayrışmasını (bir bireyin irisine özgü çıkarma özellikleri) tanıttılar. Son olarak, radyal doku düzenleme kaybı (kaynak malzemeden daha pürüzsüz dokuları simüle eden bir makine öğrenme tekniği), yansıyan manzarayı daha fazla izole etmeye ve geliştirmeye yardımcı oldu.
İlerlemeye ve akıllı geçici çözümlere rağmen, önemli engeller devam ediyor. Yazarlar, ”Mevcut gerçek dünya sonuçlarımız, bir kişinin yüzünün yakınlaştırma yakalaması, sahneyi aydınlatmak için alan ışıkları ve kasıtlı kişinin hareketi gibi bir ‘laboratuvar kurulumundan’ kaynaklanmaktadır.” dedi. “Daha düşük sensör çözünürlüğü, dinamik aralık ve hareket bulanıklığı nedeniyle daha kısıtlanmamış ayarların zor olmaya devam ettiğine inanıyoruz (örneğin, doğal kafa hareketi ile video konferans).” Ek olarak ekip, iris dokusuyla ilgili evrensel varsayımlarının, özellikle gözler tipik olarak bu tür kontrollü ayarlardan daha geniş bir şekilde döndüğünde, geniş çapta uygulanamayacak kadar basit olabileceğini belirtiyor.
Yine de ekip, ilerlemelerini gelecekteki atılımları teşvik edebilecek bir kilometre taşı olarak görüyor. “Bu çalışmayla, çevremizdeki dünya hakkında bilgi ortaya çıkarmak için beklenmedik, kazara görsel sinyallerden yararlanan ve 3D sahne rekonstrüksiyonunun ufkunu genişleten gelecekteki keşiflere ilham vermeyi umuyoruz.” Bu çalışmanın daha olgun versiyonları bazı ürkütücü ve istenmeyen gizlilik izinsiz girişlerine neden olsa da, en azından bugünün sürümünün en ideal koşullar altında bile ancak belli belirsiz bir Kirby bebeği çıkarabileceğini bilerek rahatlayabilirsiniz.