Foundational Generative Audio Transformer Opus 1, ya da kısa adıyla Fugatto, metin girdilerini kullanarak ses, müzik ya da konuşma üretme ve mevcut ses dosyalarını değiştirme yeteneğine sahip. NVIDIA, bu modeli “ses için çok amaçlı bir İsviçre çakısı” olarak tanımlıyor.
Fugatto, dünya çapından araştırmacıların katkılarıyla geliştirildi ve bu uluslararası iş birliği sayesinde modelin çok dilli ve çok aksanlı üretim yetenekleri güçlendi.
NVIDIA’nın uygulamalı ses araştırmaları yöneticisi Rafael Valle, teknolojileri hakkında yaptığı bir konuşmada “İnsanlar gibi sesi anlayan ve üreten bir model oluşturmayı hedefledik.” diyerek bu teknolojinin insan algısına yakın bir ses deneyimi sunduğunu belirtti.
Fugatto’nun potansiyel kullanım alanları
NVIDIA, Fugatto’nun farklı sektörlerde yaratıcı çözümler sunabileceğini vurguladı:
• Müzik Prodüksiyonu: Müzik yapımcıları, bir şarkının taslağını hızla oluşturup farklı tarzlar, enstrümanlar ve vokaller üzerinde denemeler yapabilir.
• Dil Öğrenme Araçları: Kullanıcılar, tercih ettikleri ses tonunda ve aksanda materyaller oluşturabilir.
• Video Oyunları: Geliştiriciler, oyuncuların eylemlerine göre değişen ses efektleri ve varyasyonlar yaratabilir.
Bunların ötesinde Fugatto, önceden eğitilmediği görevleri de ince ayarlarla gerçekleştirebiliyor. Örneğin, belirli bir aksanla öfkeli bir konuşma yaratabilir ya da yağmur fırtınasında kuş sesleri gibi karmaşık ses manzaraları oluşturabilir.
Ayrıca, zamanla değişen ses efektleri de üretebilir; örneğin bir fırtınanın yer değiştirmesiyle değişen yağmur sesleri.
Rakip modeller ve erişim durumu
Fugatto, generatif yapay zekâ teknolojileri arasında yeni bir oyuncu olsa da bu alanda tek örnek değil. Daha önce Meta, metin tabanlı ses oluşturabilen bir açık kaynak yapay zekâ kiti sunmuş, Google ise MusicLM adını verdiği benzer bir modeli tanıtmıştı.
NVIDIA, Fugatto’nun halka açık olup olmayacağını henüz açıklamasa da, özellikle profesyonel kullanıcılar için bu teknolojinin büyük bir ilgi göreceği tahmin ediliyor.
Fugatto, müzik prodüksiyonundan eğitime, oyun geliştirmeden film prodüksiyonuna kadar birçok alanda yenilikçi çözümler sunarak yaratıcı süreçleri kolaylaştırmayı vaat ediyor.