Yapay zeka modelleri için sıkıştırma algoritmaları üzerinde çalışan Avrupa merkezli bir girişim olan Pruna AI, optimizasyon çerçevesini açık kaynaklı hale getiriyor. Bu süreç, yapay zeka modelleri optimizasyonu alanında önemli bir gelişmedir.
Yapay zeka modelleri optimizasyonu
Pruna AI, önbelleğe alma, budama, niceleme ve damıtma gibi çeşitli verimlilik yöntemlerini belirli bir yapay zeka modeline uygulayan bir çerçeve oluşturuyor. Pruna AI kurucu ortağı ve CTO’su John Rachwan TechCrunch’a “Ayrıca sıkıştırılmış modelleri kaydetmeyi ve yüklemeyi standartlaştırıyoruz, bu sıkıştırma yöntemlerinin kombinasyonlarını uyguluyoruz ve sıkıştırdıktan sonra sıkıştırılmış modelinizi değerlendiriyoruz” dedi.
Özellikle, Pruna AI’nın çerçevesi bir modeli sıkıştırdıktan sonra önemli bir kalite kaybı olup olmadığını ve elde ettiğiniz performans kazanımlarını değerlendirebilir. AI modelleri optimizasyonu sürecinde bu değerlendirme oldukça kritiktir. Açıklamada: “Bir metafor kullanacak olursam, Hugging Face’in transformatörleri ve difüzörleri nasıl standartlaştırdığına benziyoruz. Bunlara nasıl isim vereceğimizi, nasıl kaydedeceğimizi, yükleyeceğimizi vb. Aynısını yapıyoruz, ancak verimlilik yöntemleri için” diye ekledi.
Büyük yapay zeka laboratuvarları halihazırda çeşitli sıkıştırma yöntemleri kullanıyor. Örneğin, OpenAI amiral gemisi modellerinin daha hızlı versiyonlarını oluşturmak için damıtmaya güveniyordu. Bu tür optimizasyon teknikleri, yapay zeka modellerini daha verimli hale getirir.
OpenAI’nin GPT-4 Turbo’yu, yani GPT-4’ün daha hızlı bir versiyonunu geliştirmesinin nedeni muhtemelen budur. Benzer şekilde, Flux.1-schnell görüntü oluşturma modeli, Black Forest Labs’ın Flux.1 modelinin damıtılmış bir versiyonudur. AI modelleri optimizasyonu, bu tür damıtma teknikleri ile daha da geliştirilebilir.
Damıtma, “öğretmen-öğrenci” modeli olan büyük bir AI modelinden bilgi çıkarmak için kullanılan bir tekniktir. Geliştiriciler bir öğretmen modeline istekler gönderir ve çıktıları kaydeder. Cevaplar bazen ne kadar doğru olduklarını görmek için bir veri kümesiyle karşılaştırılır. Bu çıktılar daha sonra öğretmenin davranışını yaklaşık olarak tahmin etmek üzere eğitilen öğrenci modelini eğitmek için kullanılır. Özellikle AI modelleri optimizasyonu açısından damıtma yöntemi oldukça etkilidir.