Cognition AI tarafından geliştirilen ve Devin adıyla tanıtılan dünyanın ilk yapay zeka yazılım mühendisinin performansı, teknoloji dünyasında büyük bir hayal kırıklığı yarattı. Teorik olarak güçlü bir potansiyele sahip olan Devin, yazılım geliştirme sürecini otonom bir şekilde yönetmeyi vaat ediyordu. Ancak yapılan testler, bu iddiaların gerçekliği yansıtmadığını gösterdi. Devin, verilen 20 görevden sadece üçünü başarıyla tamamlayarak yalnızca %15’lik bir başarı oranına ulaştı. Bu sonuç, Devin’in vaat edilen yeteneklerden ne kadar uzak olduğunu açıkça ortaya koyuyor.
Dünyanın ilk yapay zekalı yazılım mühendisi başarısız oldu
Devin’in temel çalışma prensibi, OpenAI’nin GPT-4o gibi bileşik yapay zeka modellerini kullanarak kodlama, API entegrasyonu ve hata giderme gibi görevleri yerine getirmek üzerine kurulu. Ayrıca Slack üzerinden komut alma ve Docker tabanlı bir çalışma ortamında çeşitli araçlarla işlev göstermesi gibi özelliklere sahip olduğu belirtildi. Bununla birlikte, pratikte Devin’in bu sistemleri etkili bir şekilde yönetmekte yetersiz kaldığı görüldü. Örneğin, birden fazla uygulamayı Railway platformuna dağıtması istendiğinde, platformun bu özelliği desteklemediğini fark edemedi ve hayali çözümler üretmeye çalışarak zaman kaybetti.
Devin’in başarı sağladığı görevler, daha basit süreçler içeriyor. Notion veritabanından Google Sheets’e veri aktarımı ya da gezegen hareketlerini takip eden bir uygulama geliştirme gibi görevlerde performans gösterse de, daha karmaşık yazılım entegrasyonlarında aynı başarıyı gösteremedi. Araştırmacılar, Devin’in bazı alanlarda umut vadettiğini belirtmekle birlikte, sistemin temel problemleri anlamadığını ve çözüm üretme sürecinde teknik çıkmazlara saplandığını ifade etti.
Devin’in performansını değerlendiren Answer.AI’den uzmanlar, aracın kullanıcı dostu bir arayüze sahip olduğunu kabul etmekle birlikte, görevlerin başarı oranını öngörememenin ciddi bir sorun olduğunu belirtti. Devin’in, başlangıçta basit görevlerde başarılı olmasıyla güven kazanırken, benzer görevlerde dahi zaman alıcı ve verimsiz çözümlerle başarısız olması şaşırtıcıydı. Bu durum, yapay zekânın henüz yazılım mühendisliğinde bağımsız bir aktör olabilmesi için kat etmesi gereken önemli bir mesafe olduğunu gösteriyor.