Yapay zeka teknolojisi baş döndürücü bir hızla gelişmeye devam ederken, OpenAI bilim insanları, bu gelişimin potansiyel risklerini de göz önünde bulundurarak yeni bir ölçüt geliştirdi. “MLE-bench” adı verilen bu ölçüt, gelecekte karşımıza çıkabilecek gelişmiş yapay zekaların kendi kodlarını değiştirme ve kendilerini geliştirme yeteneklerini değerlendirmek için tasarlanmış 75 zorlu testten oluşuyor.
Yapay zeka teknolojileri için yeni bir ölçüt geliştiriliyor
MLE-bench, her biri makine öğrenimi mühendisliğini test eden 75 Kaggle testinin bir araya getirilmesiyle oluşturuldu. Bu testler, yapay zeka modellerinin eğitimini, veri setlerinin hazırlanmasını ve bilimsel deneylerin yürütülmesini içeriyor ve temelde makine öğrenimi algoritmalarının belirli görevleri ne kadar iyi çözdüğünü ölçmeyi amaçlıyor. Her bir testin gerçek dünya uygulamalarına dayanması ise dikkat çekici bir nokta.
OpenAI araştırmacıları, MLE-bench’i “otonom makine öğrenimi mühendisliği” alanında yapay zeka modellerinin performansını değerlendirmek amacıyla geliştirdiklerini belirtiyor. Bu tür testler, yapay zekanın kapasitesini ölçmek için önemli bir kriter olarak kabul ediliyor.
Araştırmacılar, yapay zeka ajanlarının makine öğrenimi araştırma görevlerini otonom bir şekilde gerçekleştirebilmesi durumunda sağlık, iklim bilimi ve diğer alanlarda bilimsel ilerlemeyi hızlandırabileceğini belirtiyor. Ancak bu yeteneklerin kontrolsüz bir şekilde gelişmesi, insanlık için yıkıcı sonuçlar doğurabilir. Yapay zeka ajanları, insan müdahalesi olmadan belirli görevleri yerine getiren otonom, akıllı sistemler olarak tanımlanabilir.
Öte yandan araştırmacılar, yapay zeka alanındaki hızlı ilerlemenin, bu teknolojinin potansiyel etkilerini tam olarak anlayamadan tehlikeli sonuçlar doğurabilecek modellerin ortaya çıkmasına yol açabileceği konusunda uyarıda bulunuyor. “Kontrolsüz gelişimin yıkıcı etkileri ve kötüye kullanım” risklerine dikkat çekiyorlar. MLE-bench’in büyük bir kısmını çözebilen bir yapay zeka modelinin, kendi kendini geliştirme gibi birçok karmaşık makine öğrenimi görevini kendi başına gerçekleştirebileceğini ve bunun da öngörülemeyen sonuçlara yol açabileceğini ifade ediyorlar.
OpenAI, geliştirdiği MLE-bench ölçütünü kullanarak kendi geliştirdiği yapay zeka modelini de test etti. OpenAI’nin o1 modeli, 75 testin %16.9’unda en az bir Kaggle bronz madalya seviyesine ulaşmayı başardı ve daha fazla denemeyle bu oranın artacağı tahmin ediliyor. Bir Kaggle yarışmasında bronz madalya kazanmak, insan katılımcılar arasında en üst %40’lık dilime girmek anlamına geliyor. OpenAI’nin o1 modeli, MLE-bench testlerinde ortalama 7 altın madalya kazandı. Bu, bir insanın “Kaggle Grandmaster” unvanını almak için gerekenin iki katı seviyesinde. Araştırmacılar, yayınladıkları makalede, 75 farklı Kaggle yarışmasında bugüne kadar sadece iki insanın madalya kazanabildiğini belirtiyor.