Şehir sokaklarının sessiz görüntüleriyle eşleşen ses efektleri üreten yapay zeka sistemleri halihazırda mevcutken, deneysel yeni bir teknoloji tam tersini yapıyor. Sokakların ses kayıtlarıyla eşleşen görüntüleri, inanılmaz bir doğrulukla üretiyor.
Yapay zeka sokakları gösteriyor
Teksas Üniversitesi Austin Kampüsü’nden Yrd. Doç. Dr. Yuhao Kang ve meslektaşları tarafından geliştirilen “Ses Manzarası-Görüntü Yayılım Modeli”, 10 saniyelik ses-görüntü kliplerinden oluşan bir veri kümesi üzerinde eğitildi.
Bu klipler, Kuzey Amerika, Asya ve Avrupa’daki kentsel ve kırsal sokakların YouTube videolarından alınan hareketsiz görüntüler ve ortam seslerinden oluşuyordu. Derin öğrenme algoritmalarını kullanan sistem, yalnızca hangi seslerin görüntülerdeki hangi öğelere karşılık geldiğini değil, aynı zamanda hangi ses niteliklerinin hangi görsel ortamlara karşılık geldiğini de öğrendi.
Eğitimi tamamlandıktan sonra sisteme, yalnızca 100 başka sokak görünümü videosunun kaydedilmiş ortam sesine dayalı görüntüler üretme görevi verildi; video başına bir görüntü üretecekti.Daha sonra, insan jürilerden oluşan bir panele, bu görüntülerin her biri, görüntünün dayandığı video müziğini dinlerken, diğer sokakların iki oluşturulmuş görüntüsüyle birlikte gösterildi. Üç görüntüden hangisinin müziğe karşılık geldiğini belirlemeleri istendiğinde, bunu yapmada ortalama %80 oranında doğruydular. Dahası, üretilen görüntüler bilgisayar ortamında analiz edildiğinde, açık gökyüzü, yeşillik ve binaların göreceli oranlarının orijinal videolardakilerle “güçlü bir korelasyon” gösterdiği görüldü.
Aslında, birçok durumda oluşturulan görüntüler kaynak videoların ışık koşullarını da yansıtıyordu, örneğin güneşli, bulutlu veya gece gökyüzü. Bu, geceleri azalan trafik gürültüsü veya gece böceklerinin sesi gibi faktörlerle mümkün olmuş olabilir.
Teknolojinin, ses kaydının nerede yapıldığına dair kabataslak bir fikir edinmek gibi adli uygulamalara yol açabilmesine rağmen, çalışma daha çok sesin mekan duygumuza nasıl katkıda bulunduğunu araştırmayı amaçlıyor.
