Google’ın amiral gemisi üretken yapay zeka modelleri Gemini 1.5 Pro ve 1.5 Flash’ın avantajlı noktalarından biri, işleyebilecekleri ve analiz edebilecekleri varsayılan veri miktarı. Basın brifinglerinde ve demolarda Google, modellerin yüzlerce sayfalık belgeleri özetlemek veya film çekimlerindeki sahneler arasında arama yapmak gibi “uzun bağlamları” sayesinde daha önce imkansız olan görevleri yerine getirebileceğini defalarca iddia etti. Ancak yeni araştırmalar, modellerin aslında bu konularda pek de iyi olmadığını öne sürüyor.
Gemini veri analiz yetenekleri
İki ayrı çalışma, Google’ın Gemini modelleri ve diğerlerinin muazzam miktardaki verilerden ne kadar iyi anlam çıkardığını araştırdı. Her ikisi de Gemini 1.5 Pro ve 1.5 Flash’ın büyük veri kümeleriyle ilgili soruları doğru şekilde yanıtlamakta zorlandığını buldu. Belge tabanlı testlerin bir serisinde, modeller yalnızca yüzde 40-50 oranında doğru yanıtı verdi.
UMass Amherst’te doktora sonrası araştırmacı ve çalışmalardan birinin ortak yazarı olan Marzena Karpinska yaptığı açıklamada: “Gemini 1.5 Pro gibi modeller teknik olarak uzun bağlamları işleyebilse de, modellerin içeriği aslında ‘anlamadığını’ gösteren birçok durum gördük.” dedi. Bir modelin bağlamı veya bağlam penceresi, modelin çıktı (örneğin ek metin) oluşturmadan önce dikkate aldığı girdi verilerini (örneğin metin) ifade eder. Gemini’nin en yeni sürümleri bağlam olarak 2 milyondan fazla token alabilir.
Bu yılın başlarında yapılan bir brifingde Google, Gemini’nin uzun bağlam yeteneklerinin potansiyelini göstermeyi amaçlayan önceden kaydedilmiş birkaç demo gösterdi. Bunlardan biri Gemini 1.5 Pro’nun, Apollo 11’in aya iniş yayınının transkriptinişakalar içeren alıntılar için aramasını ve ardından yayında karakalem taslağına benzeyen bir sahne bulmasını sağladı. Brifingi yöneten Google DeepMind Araştırma Başkan Yardımcısı Oriol Vinyals, modeli “sihirli” olarak nitelendirdi.
Bu yetenekleri karşılaştıran yukarıda bahsedilen çalışmalardan birinde Karpinska, Allen Yapay Zeka Enstitüsü ve Princeton’dan araştırmacılarla birlikte, modellerden İngilizce yazılmış kurgu kitaplar hakkındaki doğru/yanlış ifadeleri değerlendirmelerini istedi. Araştırmacılar, modellerin önceden bilgiye dayanarak “hile yapmaması” için son çalışmaları seçtiler ve ifadeleri, kitapları bütünüyle okumadan anlaşılması imkansız olan belirli ayrıntılara ve olay örgüsüne göndermelerle süsledi.
