Richard Sutton: İşlem gücü tek başına yetmez

Turing Ödüllü Richard Sutton, yeni bir paylaşımda işlem gücünün tek başına zekayı getirmeyeceğini savundu. Üstelik bu görüş, 2019'da hesaplamayla ölçeklenen genel yöntemlerin kazanacağını savunan 'Acı Ders' makalesinin yazarından geliyor. Ancak Sutton'a göre yapay zeka bilimi 'bitmiş olmaktan çok uzak' ve akıllı yeni yöntemlere ihtiyaç duyuyor.

Richard Sutton Neyi Savunuyor?

Richard Sutton'ın paylaşımı X'te yapay zeka topluluğunda geniş bir tartışma başlattı. Bu nedenle tepki, Sutton'ın hassas bir noktaya dokunduğunu gösteriyor. Öte yandan 2019'daki makalesinin ana fikri şuydu: Önemli olan, insan varsayımlarına yaslanan yöntemler değil, hesaplamayla büyüyen fikirlerdir.

Ancak bu tutum yeni değil. Sutton daha önce de büyük dil modellerini salt ölçeklemenin sınırlarını eleştirmişti. Sentetik veriyi, yani yapay biçimde üretilmiş veriyi, 'büyük hata' diye niteledi. Çünkü ona göre gerçek dünya sonsuz karmaşık ve her simülasyon yalnızca 'mikroskobik' kalıyor. Ayrıca insan uzmanlığının darboğaz olması, gerçek ölçeklenmeyi engelliyor.

Bu nedenle kendi deneyiminden sürekli öğrenen ve dünya modeli olan ajanlar öneriyor. Ona göre dünya, internet metninin anlatabileceğinden çok daha karmaşık. Üstelik bugünün dil modelleri eğitimden sonra öğrenmeyi sürdürmüyor. Dolayısıyla gereken, eski bilgiyi yok etmeden sürekli öğrenebilmek.

Araştırmacılardan Gelen Yorumlar

OpenAI'dan ayrılıp yeni yaklaşımlar arayan araştırmacı Jerry Tworek, Sutton'ın sözlerini bağlama oturtuyor. Ona göre acı ders hala geçerli. Ancak modele ne kadar çok hesaplama gücü harcanırsa, algoritmanın önemi o kadar artıyor.

Tworek'e göre bazı algoritmalar ölçekleniyor, bazıları ise çıkmaza giriyor. Ölçeklemenin birçok boyutu da hiç keşfedilmedi. Transformer ölçeklemesinin geçici başarısı ve acı dersin yanlış okunması, 'bütün bir bilim insanı kuşağının beynini reward-hack'ledi'.

Araştırmacı Jayden Teoh ise acı dersin akademik araştırmayı defalarca frenlediğini gördüğünü söylüyor. Umut vadeden fikirler, bu ruhtan saptıkları gerekçesiyle reddedilmiş. Ancak ona göre suç Sutton'da değil, özgün mesajın yanlış okunmasında.

Teoh ayrıca geçmişte acı dersi izlemiyor gibi görünen fikirlerin çoğu zaman daha temiz ve genel yaklaşımlarla yer değiştirdiğini belirtiyor. Bu, o fikirleri yanlış yapmıyor. Çünkü çoğu, o dönemde ilerlemeyi mümkün kılanlardı. Teoh şöyle yazıyor: 'Bir fikrin yapay zeka ilerlemesine önemli katkı yapması için sonsuza dek ölçeklemeden sağ çıkması şart değil.'

Yeni Laboratuvarlar ve Ölçekleme Taraftarları

Sutton'ın yeni öğrenme yöntemleri çağrısı ile Tworek'in transformer ölçeklemesine yönelik eleştirisi, girişim dünyasında da karşılık buluyor. 45 yeni yapay zeka laboratuvarının tam da bu boşluklara bahis yaptığı tespit edildi. Tworek de bunlardan biri olan Core Automation'ı yönetiyor. Laboratuvar, ön eğitim ve pekiştirmeli öğrenmenin ötesinde öğrenme algoritmaları arıyor.

Oak Lab üzerinden Richard Sutton da bu kurucular arasında. Hepsini birleştiren ortak nokta şu: Çok daha yetenekli bir yapay zekaya inanıyorlar, ama bugünkü tarifin tek başına oraya götüreceğinden şüphe ediyorlar.

Sektörün önde gelen isimleri ise tabloyu çok farklı görüyor. OpenAI CEO'su Sam Altman, büyük dil modeli ölçeklemesinin tükenmekten uzak olduğunu söylüyor. Ayrıca LLM eleştirmenlerini, ölçeklemenin neleri yapamayacağından fazla emin olup bir kuşak araştırmacıyı yavaşlatmakla suçluyor.

Altman kanıt olarak, matematikçilerin uzun süredir çözemediği bir varsayımı yakın zamanda çürüten bir OpenAI modelini gösteriyor. Dünya modellerini örneğin robotikte yararlı buluyor. Yine de verilerin LLM ölçeklemesinin sürmesinden yana olduğunu söylüyor.

Anthropic CEO'su Dario Amodei de benzer düşünüyor ve ölçekleme ilerlemesini sonu olmayan bir gökkuşağına benzetiyor. Teknik yaklaşımı tamamen bu bahse dayanan iki şirketin CEO'ları olarak Amodei ve Altman'ın görüşleri doğal olarak ölçekleme lehine.