Meta’nın vanilya Maverick AI modeli, popüler bir sohbet kıyaslamasında rakiplerinin gerisinde kaldı. Meta, Llama 4 Maverick modelinin deneysel, yayınlanmamış bir versiyonunu kullanarak kalabalık kaynaklı bir kıyaslama olan LM Arena’da yüksek bir puan elde ettiği için başını derde soktu. Bu olay, LM Arena’nın bakımcılarını özür dilemeye, politikalarını değiştirmeye ve değiştirilmemiş, vanilya Maverick’i puanlamaya yöneltti.
Meta yapay zeka modeli Maverick AI beklentiyi karşılamadı
Değiştirilmemiş Meta yapay zeka modeli Maverick, “Llama-4-Maverick-17B-128E-Instruct” OpenAI’ınn GPT-4o, Anthropic’in Claude 3.5 Sonnet ve Google’ın Gemini 1.5 Pro’su gibi modellerin altında sıralandı. Bu modellerin çoğu aylar öncesine ait.
Peki kötü performans neden? Meta’nın deneysel Maverick’i, Llama-4-Maverick-03-26-Experimental, şirket geçen yakın zamanda yayınlanan bir grafikte “sohbet için optimize edildi” diye açıkladı. Bu optimizasyonlar, insan değerlendiricilerin modellerin çıktılarını karşılaştırıp hangisini tercih ettiklerini seçmelerini sağlayan LM Arena için açıkça iyi sonuç verdi.
Çeşitli nedenlerden ötürü, LM Arena hiçbir zaman bir AI modelinin performansının en güvenilir ölçüsü olmadı. Yine de, bir modeli bir kıyaslamaya göre uyarlamak geliştiricilerin modelin farklı bağlamlarda ne kadar iyi performans göstereceğini tam olarak tahmin etmesini zorlaştırıyor.
Sözcü, “‘Llama-4-Maverick-03-26-Experimental’, LM Arena’da da iyi performans gösteren, denediğimiz sohbet için optimize edilmiş bir sürümdür. Artık açık kaynaklı sürümümüzü yayınladık ve geliştiricilerin Llama 4’ü kendi kullanım durumları için nasıl özelleştirdiklerini göreceğiz. Ne inşa edeceklerini görmek için heyecanlıyız ve devam eden geri bildirimlerini dört gözle bekliyoruz” dedi.
