ElevenLabs tarafından engellenen kullanıcının oluşturduğu ses, geçen hafta New Hampshire’daki bazı seçmenlere eyalet ön seçimlerinde oy kullanmamalarını söyleyen bir otomatik çağrıda kullanıldı.
Başlangıçta Biden’ın sesini kopyalamak için hangi teknolojinin kullanıldığı belli değildi, ancak güvenlik şirketi Pindrop tarafından yapılan kapsamlı analiz, faillerin ElevanLabs’ın araçlarını kullandığını gösterdi.
Güvenlik firması arka plandaki gürültüyü kaldırdı ve otomatik aramanın sesini, deepfake oluşturmak için kullanılan 120’den fazla ses sentezi teknolojisinden alınan örneklerle karşılaştırmadan önce temizledi. Pindrop CEO’su Vijay Balasubraniyan, Wired’a “ElevenLabs olduğu yönünde yüzde 99’un çok üzerinde bir sonuç elde edildiğini” söyledi.
Bloomberg, şirketin Pindrop’un bulgularından haberdar edildiğini ve halen soruşturmaya devam ettiğini ancak sahte ses çıkaran hesabın zaten tespit edildiğini ve askıya alındığını söyledi. ElevenLabs, haber kuruluşuna konuyla ilgili yorum yapamayacağını ancak “sesli yapay zeka araçlarının kötüye kullanımını önlemeye kararlı olduğunu ve her türlü kötüye kullanım olayını son derece ciddiye aldığını” söyledi.
Sahte Biden otomatik çağrısı, başka birinin görüntüsünü ve sesini taklit edebilen teknolojilerin, ABD‘de yaklaşan başkanlık seçimlerinde oyları manipüle etmek için nasıl kullanılabileceğini gösteriyor. Carnegie Mellon Üniversitesi’nden profesör Kathleen Carley The Hill’e şunları söyledi: “Bu, seçmenlerin baskı altına alınması veya seçim çalışanlarına yönelik saldırılar konusunda yapılabilecekler konusunda buzdağının sadece görünen kısmı. ” “Bu neredeyse önümüzdeki birkaç ay içinde ne tür şeyler beklememiz gerektiğinin habercisiydi.“
Girişim, müşterilerinin teknolojisini kullanarak “kamuoyundaki tartışmalara katkıda bulunan sanatsal ve politik konuşmalar” için sesleri klonlamalarına olanak tanıyor. Güvenlik sayfası, kullanıcıları “dolandırıcılık, ayrımcılık, nefret söylemi veya herhangi bir çevrimiçi taciz türü için yasayı ihlal etmeden kötü niyetli amaçlarla ses kopyalayamayacakları” konusunda uyarıyor.
Ancak açık bir şekilde, kötü aktörlerin araçlarını seçmenleri etkilemek ve dünya çapındaki seçimleri manipüle etmek için kullanmasını önlemek için daha fazla önlem alması gerekiyor.