OpenAI’nin eski araştırma başkan yardımcısı, ChatGPT’yi destekleyen LLM’yi yapmadan önce ilk önce Baidu’da çalışıyordu. Yapay zeka (AI) chatbot’u ChatGPT üreticisi OpenAI, AI modelleri geliştirmede küresel lider olarak kabul ediliyor. Ancak şirketin AI’sını geliştirme yaklaşımı tamamen kendine özgü olmayabilir ve Çinli şirket Baidu’da yapılan araştırmalardan ödünç alınmış olabilir, South China Morning Post (SCMP) bildirdi.
Çin OpenAI konusunda sert tutum gösterdi iddiası
AI modelleri yaklaşık on yıldır üzerinde çalışılıyor olsa da OpenAI, ChatGPT aracılığıyla yeteneklerini duyurarak bunları genel bilgi haline getirdi. O zamandan beri, ABD’deki ve dünyanın geri kalanındaki birçok şirket, belirli AI uygulamalarını çalıştırmak için büyük temel modeller oluşturmak amacıyla OpenAI’nin yaklaşımını kullandı.
Bu yaklaşımın özünde, bir AI modelini daha doğru ve etkili hale getirmek için daha büyük bir veri kümesi üzerinde eğitilmesi gerektiğini belirten “ölçekleme yasası” yer alıyor. OpenAI bunu, AI araştırma ve geliştirme çalışmalarının nasıl gerçekleştiğine dair tonu belirleyen 2020 tarihli Sinir Dili Modelleri için Ölçekleme Yasaları başlıklı makalesine dahil etti.
OpenAI makalesi, artan model parametrelerinin, eğitim verilerinin ve hesaplama kaynaklarının AI modelinin performansını iyileştiren kritik bileşenler olduğunu açıkça göstermektedir. Bu makalenin ortak yazarlarından ve şirketin eski araştırma başkan yardımcısı olan Dario Amodei, bir podcast’te bunu ilk kez Çinli bir şirket olan Baidu ile çalışırken gözlemlediğini belirtti.
2014 yılında Amodei, Baidu’da konuşma tanıma sistemleri üzerinde çalışıyordu ve ekip, modellerin artan veriler ve daha uzun eğitim süreleriyle iyileştiğini fark etti. Amodei, podcast’te ayrıca ekibin bu girdileri tam olarak ölçmemiş olmasına rağmen ekipte gayri resmi bir anlayış duygusunun belirgin olduğunu ekledi.
Baidu’nun Silikon Vadisi’ndeki muadili 2017’de bu yönde “Derin Öğrenme Ölçeklenmesi Ampirik Olarak Tahmin Edilebilir” başlıklı bir makale yayınladı ve ölçekleme olgusu kapsamlı bir şekilde tartışıldı ve konu 2019’da İnsan Düzeyinde Doğruluğun Ötesinde: Derin Öğrenmede Hesaplamalı Zorluklar başlıklı başka bir makalede yeniden ele alındı, SCMP raporuna eklendi. Open AI’nın 2020 tarihli makalesi Baidu’nun 2019 tarihli makalesine atıfta bulunuyor ancak 2017 tarihli makaleye hiç atıfta bulunmuyor. Eleştirmenler, OpenAI’dan bu çıkarımın kasıtlı olduğunu, çünkü ölçekleme yasası kavramının kökenlerine doğrudan işaret edeceğini ve fikrin OpenAI’dan geldiği izlenimini vereceğini savunuyor.
