Fireworks AI: tek model yerine model portföyü

Yönetilen çıkarım sağlayıcısı Fireworks AI, şirketlere tek model yerine model portföyü kullanmayı öneriyor. Çıkarım, yani eğitilmiş bir modelin gelen sorulara yanıt üretmesi, ekonomi açısından da önem taşıyor. Şirketin Başkan Yardımcısı Rob Ferguson, bu nedenle hesabın baştan yapılması gerektiğini söylüyor.

Fireworks AI şirket içi kurulumu neden önermiyor?

Fireworks AI, modellerin şirketlerin kendi veri merkezlerinde çalıştırılmasına destek veriyor. Ancak Ferguson, müşterileri giderek bu yoldan uzaklaştırmaya çalıştıklarını belirtiyor. Gerekçesi ise doğrudan maliyet.

GPU donanımı çok pahalı. Dolayısıyla tam kapasiteyle kullanılamayan donanım, Ferguson'a göre para kaybı demek. Örneğin on bin GPU, onun hesabıyla bir milyar dolarlık sermayeye karşılık geliyor. Bu cihazların boşta beklemesini kimsenin istemediğini de ekliyor.

Hassas iş yükleri olan şirketler için ise ayrı bir seçenek var. Fireworks, bu amaçla Sovereign adlı bir hizmet sunuyor. Ayrıca Microsoft gibi iş ortaklarıyla da destek verebiliyor. Yine de Ferguson, çıkarım işlerinin çoğunun bu düzeyde korumaya ihtiyaç duymadığını düşünüyor.

Model portföyü ve özel yönlendiriciler

Ferguson'a göre sektörde en güncel yaklaşım, bir model portföyüne sahip olmak. Dünyanın en iyi modelinin Astra ya da Fable olmadığını söylüyor. Ona göre en iyi model, portföyün kendisi. Üstelik birkaç model arasında yönlendirme yapmanın, tek modelden her zaman daha iyi olduğunu kanıtlayabildiklerini iddia ediyor.

Şirket bunu Nexus ve API'si üzerinden yapıyor. Together AI, Baseten ve DeepInfra de aynı alanda rakip olarak çalışıyor. Fireworks AI, gelen çıkarım işini en uygun modele, öncü model aboneliğine ya da API'ye yönlendiriyor.

Ancak bu, bir AI ağ geçidindeki gibi basit bir yönlendirme değil. Şirket, gelen görevleri değerlendirip en uygun modele gönderiyor. Ferguson'a göre özel yönlendiriciler geliştiriyorlar ve otomatik model sürekli güncelleniyor. Görevin zorluğu derecelendiriliyor, modellerin yatkınlıklarına da bakılıyor. Örneğin Kimi, JavaScript'te Python'a göre biraz daha başarılı.

Şirketin rekabet avantajı, kurucularının PyTorch geçmişinden gelen mühendislik ekibi. PyTorch, yaygın kullanılan açık kaynaklı bir makine öğrenimi kütüphanesi. Ferguson, hem eğitim hem çıkarım tarafında performans uzmanı olduklarını söylüyor. Özellikle sayısal hassasiyetin önemini vurguluyor.

Uzman karışımı (mixture of experts) mimarisinde her uzman ayrı bir makine. Verinin doğru makineye dönmesi gerekiyor, çünkü diğer makine soruyu yine yanıtlar ama biraz farklı yanıtlar. Hyperscaler'lar ise yalnızca GPU veriyor. Onu kullanma sorumluluğu müşteride kalıyor. Fireworks ise ölçekte kullanımı artırırken model hassasiyetini ve hızı korumayı hedefliyor.

Gerçek maliyet görev başına hesaplanıyor

Ferguson'a göre token maliyeti gerçek maliyet değil. Asıl önemli olan, görev başına maliyet. Bu yüzden müşterilerine bu rakamı izlemelerini söylüyor. Çünkü önbelleğe düşmeyen her istek yeniden iş demek. AI'da yeniden iş ise en büyük gider kalemi.

Önbellek (cache) oranları da burada belirleyici. Ferguson, bir veri bilimi şirketiyle çalışırken görevlerin yaklaşık yüzde 90'ını önbellekten sunduklarını söylüyor. Anthropic'in Opus modelinde ise bu oran yüzde 30 çıkmış. Ona göre öncü model şirketleri bu oranları şeffaf paylaşmıyor.

Verinin değeri de hesaba katılmalı. Fireworks AI sıfır veri saklama politikası uyguluyor. Ferguson, diğer şirketlerin çoğu zaman böyle yapmadığını belirtiyor. Ayrıca modellerin veriyi ezberlediğine dair kanıtların arttığını söylüyor. Bu nedenle verisi kullanılan şirketlerin karşılık alması gerektiğini savunuyor.

Hız ise çoğu zaman hafife alınıyor. Ferguson, yanıtlar sorduğu kadar hızlı geldiğinde AI ile çalışma biçiminin tamamen değiştiğini anlatıyor.

Model topluluğu (ensembling) yaklaşımının getirisi, Ferguson'a göre faturada en az yüzde 50 düşüş. Şirket bazı durumlarda altı ila sekiz kat daha ucuz olduklarını söylüyor. Kapalı ve açık modelleri birlikte kullanan müşterilerde faturanın hemen yarıya ineceğini garanti ettiklerini de belirtiyor.