OpenAI, GPT-4 tabanlı yeni bir model olan CriticGPT‘yi tanıttı. CriticGPT, insan eğitmenlerin “insan geri bildirimi üzerine takviyeli öğrenme” (RLHF) sürecinde ChatGPT’nin yanıtlarını denetleyerek hataları tespit etmelerine yardımcı olacak. Firma, ChatGPT tarafından üretilen koddaki hataları belirlemek için tasarlanan bu yeni modelin, insanların büyük dil modeli (LLM) çıktılarını daha doğru hale getirmeyi hedeflediğini belirtiyor.
CriticGPT, insan eğitmenlere ChatGPT tarafından oluşturulan programlama kodunu incelemede yardımcı olmak için geliştirildi. OpenAI, bu yeni aracın yardımıyla kod gözden geçirme işlemlerinde insan performansını %60 oranında artırmayı başardıklarını iddia ediyor. CriticGPT, ChatGPT’ye güç veren aynı GPT-4 ailesine dayanıyor ve kodu analiz ederek olası hatalara işaret ediyor. Bu sayede insanlar, aksi takdirde fark edilemeyebilecek hataları daha kolay tespit edebiliyor.
Kodlama hatalarını tanımayı öğrendi
Araştırmacılar, CriticGPT’yi kasıtlı olarak eklenmiş hatalar içeren kod örneklerinden oluşan bir veri kümesi üzerinde eğitti. Bu eğitim süreci, modelin çeşitli kodlama hatalarını tanımasını ve işaretlemesini sağladı. OpenAI, RLHF sürecinde yapay zekaların hatalarını tespit ederek ince ayarların yapılmasını sağlamak için böyle bir araca ihtiyaç duyulduğunu belirtiyor. Zira yapay zekalar geliştikçe yaptıkları hatalar azalıyor veya fark edilmesi zorlaşıyor.
Yeni modelin eleştirileri, doğal hataları içeren vakaların %63’ünde ChatGPT’nin kendisi tarafından üretilenlere tercih edildi. Bunun nedeni, CriticGPT’nin daha az “nitpick” (yardımcı olmayan küçük şikayetler) üretmesi ve daha az sıklıkla halüsinasyon görmesi. OpenAI, CriticGPT’nin kod incelemelerinde daha ayrıntılı eleştiriler yazmasına yardımcı olmak için Force Sampling Beam Search (FSBS) adını verdikleri yeni bir teknik de geliştirdi.
OpenAI, kod üzerindeki deneylerin yanı sıra LLM eleştirmenlerinin genel yardımcı görevlerde nasıl performans gösterdiğini de araştırdı. CriticGPT’nin yeteneklerinin kodun ötesine geçtiği ve daha önce kusursuz olarak değerlendirilen ChatGPT eğitim verilerinin bir alt kümesinde hatalar bulduğu keşfedildi. Bu, modelin kod dışı görevlere de genelleme potansiyelini ve ince hataları yakalama yeteneğini gösteriyor.
CriticGPT’nin sınırlamaları
CriticGPT, GPT-4 üzerine inşa edilmiş bir yapay zeka modeli olduğu için bazı sınırlamaları bulunuyor. Model, daha dar ve kaliteli bir veri kümesinde eğitilmiş olsa da halüsinasyon görmeye devam ediyor. Bu da insanların yanlış etiketlemeler yapmasına neden olabiliyor. Ayrıca CriticGPT, uzun ve karmaşık görevleri değerlendirmede performans düşüklüğü yaşıyor. Model, belirli bir yerde tespit edilebilen hataları belirlemede oldukça iyi olsa da gerçek dünyadaki hatalar bir cevabın birçok bölümünde olabiliyor. OpenAI, CriticGPT’nin karmaşık görevlerde bir yere kadar yardımcı olabileceğini, ancak son derece karmaşık görevlerin doğru değerlendirilmesinde bir uzman yardımına ihtiyaç duyulabileceğini belirtiyor.
OpenAI, CriticGPT ile GPT-4’ün hatalarını GPT-4’e emanet ederek, yapay zeka modellerinin doğruluğunu artırmayı hedefliyor. CriticGPT, insan eğitmenlere kod gözden geçirme sürecinde önemli bir destek sunarken, aynı zamanda daha geniş görevlerde de etkili olabileceğini gösteriyor. Ancak, modelin sınırlamaları göz önüne alındığında, insan uzmanların rolü hala büyük önem taşıyor.