Bir blog gönderisinde Nvidia, ödül algoritmalarını özerk bir şekilde yazan Eureka’nın ilk kez bir insanın yapabileceği kadar hızlı kalem döndürme hileleri yapmak için robotik bir eli eğittiğini söyledi. Eureka ayrıca robotlara yaklaşık 30 görev arasında çekmeceleri ve dolapları açmayı, topları atıp yakalamayı ve makası manipüle etmeyi öğretti.
Nvidia yapay zeka araştırmasının kıdemli direktörü ve Eureka makalesinin yazarı Anima Anandkumar, blog gönderisinde ”Pekiştirme öğrenimi son on yılda etkileyici kazançlar sağladı, ancak deneme yanılma süreci olarak kalan ödül tasarımı gibi birçok zorluk hala var.” dedi. “Eureka, zor görevleri çözmek için üretken ve pekiştirici öğrenme yöntemlerini birleştiren yeni algoritmalar geliştirmeye yönelik ilk adımdır.“
Nvidia Research ayrıca, takviye öğrenme araştırması için bir fizik simülasyonu referans uygulaması olan Nvidia Isaac Gym’i kullanarak insanların onlarla deney yapmaları için Eureka AI algoritmaları kütüphanesini yayınladı. Isaac Gym, OpenUSD çerçevesine dayalı 3D araçlar ve uygulamalar oluşturmak için bir geliştirme platformu olan Nvidia Omniverse üzerine kuruldu.
Nisan ayında Auto-GPT, BabyAGI ve AgentGPT gibi otonom AI ajanlarının yükselişi de dahil olmak üzere, AI ajanları üzerindeki yutturmaca aylardır dönüyor.
Mevcut Nvidia Araştırma çalışması, Minecraft’ı özerk bir şekilde oynayabilen GPT-4 ile oluşturulmuş bir AI ajanı olan son Voyager da dahil olmak üzere önceki çabalara dayanıyor. Bu hafta New York Times’ın sohbet robotlarını çevrimiçi ajanlara dönüştürme çabalarıyla ilgili bir makalesinde, daha önce OpenAI araştırmacısı olan British Columbia Üniversitesi’nden bilgisayar bilimi profesörü Jeff Clune, “bunun büyük bir ticari fırsat, potansiyel olarak trilyonlarca dolar olduğunu” söylerken, “bunun toplum için büyük bir artısı ve büyük sonuçları olduğunu” da sözlerine ekledi.
Yazarlar, “Eureka: Büyük dil modellerini kodlayan insan düzeyinde ödül tasarımı” başlıklı yeni bir araştırma makalesinde, Eureka’nın “ödül koduna göre evrimsel optimizasyon gerçekleştirmek için GPT-4 gibi son teknoloji LLM’lerin dikkate değer sıfır çekim üretimi, kod yazma ve bağlam içi iyileştirme yeteneklerini sömürdüğünü” söyledi.
Ortaya çıkan ödüllerin, pekiştirme öğrenimi yoluyla karmaşık beceriler kazanmak için kullanılabileceğini söylediler. “Görevlere özel uyarı veya önceden tanımlanmış ödül şablonları olmadan Eureka, uzman insan mühendisliği ödüllü ödüllerden daha iyi performans gösteren ödül işlevleri üretir. 10 farklı robot morfolojisi içeren 29 açık kaynaklı RL ortamından oluşan çeşitli bir pakette Eureka, görevlerin %83’ünde insan uzmanlardan daha iyi performans gösteriyor ve bu da ortalama %52’lik bir normalleştirilmiş iyileşmeye yol açıyor.”
Projenin katkıda bulunanlarından biri olan NVIDIA kıdemli araştırma bilimcisi Jim Fan, blog gönderisinde, ”Eureka, büyük dil modellerinin ve Nvidia’nın GPU hızlandırmalı simülasyon teknolojilerinin benzersiz bir kombinasyonudur.” dedi. “Eureka’nın hüneli robot kontrolünü sağlayacağına ve sanatçılar için fiziksel olarak gerçekçi animasyonlar üretmenin yeni bir yolunu sağlayacağına inanıyoruz.”