Yandex, yeni tanıttığı YaFSDP’nin, kullanılan mimariye ve parametre sayısına bağlı olarak büyük Sinir Ağı modellerinin dağıtık bir şekilde verimli bir şekilde eğitilmesine olanak tanıyan Tamamen Parçalanmış Veri Paralelliği tekniğine (FSDP) kıyasla %26’ya varan hızlanma sunduğunu iddia ediyor.
1997 yılında iki Rus bilgisayar bilimci tarafından bir indeksleme aracı olarak geliştirilen ve Rus bloğu ülkelerinde hızla yükselerek Google’a rakip hale gelen Yandex, yapay zekâ alanında da rekabetçi kimliğini korumaya çalışıyor. Mayıs 2023’te kendi üretken yapay zekâ aracı YandexGPT’yi pazara sunan firma, Ekim ayında da yapay zeka görüntü oluşturucu YandexART’ı tanıtmıştı. Şimdi ise, küresel yapay zekâ topluluğunun gelişimine anlamlı bir katkı sunma amacıyla Yandex, YaFSDP’yi dünya çapındaki LLM geliştiricilerinin ve yapay zekâ meraklılarının kullanımına açtı.
Yandex’te kıdemli geliştirici olarak görev yapan ve YaFSDP’nin arkasındaki ekibin parçası olan Mikhail Khruschev, konuyla ilgili olarak yapılan açıklamada şunları söyledi: “Şu anda YaFSDP’nin çok yönlülüğünü genişletmek için çeşitli model mimarileri ve parametre boyutları üzerinde aktif olarak deneyler yapıyoruz. LLM eğitimindeki gelişmelerimizi küresel ML topluluğuyla paylaşmaktan, dünya genelindeki araştırmacılar ve geliştiriciler için erişilebilirliğin ve verimliliğin artmasına katkıda bulunmaktan heyecan duyuyoruz.”
YaFSDP ülkemizdeki LLM geliştirme projelerine katkı sağlar mı?
Türkiye’de yer alan çeşitli teknoloji ve finans kuruluşları, Türkçe dil modelleri geliştirerek bu alanda dünya çapında önemli projelere imza atıyor. Türkiye’de geliştirilen bu büyük dil modelleri, Yandex’in sunduğu YaFSDP yöntemi ile önemli avantajlar elde edebilir. YaFSDP’nin sunduğu GPU tasarrufları ve eğitim hızlandırmaları, bu projelerin daha verimli ve maliyet etkin bir şekilde gerçekleştirilmesine katkıda bulunabilir. Özellikle, dil modeli eğitimi sırasında GPU kaynaklarında %20’ye varan tasarruf sağlandığı ve %26’ya kadar hızlanma elde edildiği iddia ediliyor. Bu da projelerin hem ekonomik hem de operasyonel açıdan daha sürdürülebilir olmasını sağlayabilir.
Yandex YaFSDP, GPU iletişimindeki verimsizliği ortadan kaldırarak GPU etkileşimlerini kesintisiz hale getirme iddiasında. Böylece eğitimin yalnızca gerektiği kadar işlem belleği kullanmasını sağlıyor. YaFSDP, öğrenme hızını ve performansını optimize ederek dünya çapındaki yapay zekâ geliştiricilerinin modellerini eğitirken daha az bilgi işlem gücü ve GPU kaynağı kullanmalarına yardımcı olabilir. Firmanın açıklamalarına göre örneğin, 70 milyar parametreli bir modeli içeren ön eğitim senaryosunda, YaFSDP kullanmak yaklaşık 150 GPU kaynağına denk tasarruf sağlama potansiyeline sahip bulunuyor. Bu da sanal GPU sağlayıcısına veya platformuna bağlı olarak ayda kabaca 500 bin ila 1,5 milyon dolar tasarruf anlamına geliyor.
Ayrıca FSDP’nin geliştirilmiş bir versiyonu olan YaFSDP, ön eğitim, hizalama ve ince ayar gibi LLM eğitiminin iletişim ağırlıklı aşamalarında da FSDP yöntemine kıyasla daha iyi performans gösteriyor. YaFSDP’nin Llama 2 ve Llama 3 üzerinde gösterdiği nihai hızlanma, Llama 2 70B ve Llama 3 70B üzerinde sırasıyla %21 ve %26’ya ulaşarak eğitim hızında önemli gelişmeler olduğunu ortaya koyuyor.
YaFSDP, Yandex’in sunduğu ilk açık kaynaklı araç değil. Şirket daha önce ML topluluğu arasında popüler hale gelen CatBoost, YTsaurus ve Petals gibi farklı araçlar da sunmuştu