OpenAI, geliştiricilerin gerçek zamanlı ses uygulamaları oluşturmasına olanak tanıyor. Gerçek zamanlı ses gönderme ve alma, geliştiricilere yalnızca metin içeren büyük dil modellerine göre iki kat daha fazla maliyet çıkaracak.
OpenAI gerçek zamanlı ses fiyatlandırması nasıl?
Bu yetenek aynı zamanda büyük bir primle gelir. OpenAI şu anda gerçek zamanlı API’nin temelini oluşturan model olan GPT-4o büyük dil modelini, giriş metninin milyon jetonu başına 2,50 dolar ve çıktı jetonu başına 10 dolar olarak fiyatlandırıyor. Gerçek zamanlı giriş ve çıkış maliyeti, hem metin hem de ses belirteçlerine dayalı olarak bu oranın en az iki katı. Çünkü GPT-4o her iki tür giriş ve çıkışa ihtiyaç duyuyor. Gerçek zamanlı API kullanıldığında GPT-4o için giriş ve çıkış belirteçleri sırasıyla milyon belirteç başına 5 dolar ve 20 dolardır.
Sesli tokenlar için maliyet, milyon adet ses girişi tokenı başına 100 dolar, milyon adet ses çıkışı tokenı başına ise 200 dolar gibi devasa bir rakamdır. OpenAI, sesli görüşmelere ilişkin standart istatistiklerle ses token’larının fiyatlandırmasının “dakika başına yaklaşık 0,06 dolarlık ses girişi ve dakika başına 0,24 dolarlık ses çıkışına eşit olduğunu” belirtiyor. OpenAI, gerçek zamanlı sesin üretken yapay zekada nasıl kullanılabileceğine dair örnekler veriyor. Bunlara otomatik bir sağlık koçunun bir kişiye tavsiye vermesi ve bir öğrenciyle sohbet ederek yeni bir dil pratiği yapması gibi örnekler de dahil.
Geliştirici konferansı sırasında OpenAI, daha önce modele gönderilmiş girdilerdeki belirteçleri yeniden kullanan hızlı önbelleğe alma ile geliştiricilere toplam maliyeti düşürmenin bir yolunu sundu. Bu yaklaşım, GPT-4o giriş metni belirteçlerinin fiyatını yarıya indiriyor.
Ayrıca, geliştiricilerin daha büyük modellerden gelen verileri kullanarak daha küçük modelleri eğitmelerine olanak tanıyan LLM “damıtımı” da tanıtıldı. Bir geliştirici, GPT-4o gibi OpenAI’nin daha yetenekli dil modellerinden birinin girdisini ve çıktısını, “depolanmış tamamlamalar” olarak bilinen tekniği kullanarak yakalıyor. Daha sonra bu depolanmış tamamlamalar, GPT-4o mini gibi daha küçük bir modeli “ince ayar” yapmak için eğitim verisi haline geliyor.