10.000 kelimelik metinler üretebilen yeni yapay zeka büyük dil modeli geliştirildi. Araştırmacılar, LLM’lerin tüm araştırma makaleleri, kitaplar, el yazmaları veya film senaryoları üretebileceğini söyledi. Büyük dil modelleri (LLM’ler) günümüzde işletmelerin çalışma şeklini değiştiriyor.
LongWriter dil modeli yeniliklerle geliyor
Bu güçlü araçlar insanlara teknolojiyi daha önce hiç olmadığı kadar keşfetme gücü verdi. Ancak LLM’lerin de kendilerine ait bir dizi sorunları var. LLM’lerin karşılaştığı en büyük sorunlardan biri, ürettiği metnin çıktı uzunluğudur. Mevcut LLM’ler 100.000 kelimeye kadar girdileri işlediklerini iddia ederken, 2.000 kelimelik mütevazı bir uzunluğu bile aşan çıktılar üretmekte zorlanıyorlar.
Bu sorunu çözmek için, Tsinghua Üniversitesi’ndeki bir AI araştırmacıları ekibi, Zhipu AI’dan bir meslektaşıyla birlikte LongWriter adlı büyük bir dil modeli (LLM) geliştirdi. Ekip, LLM’nin 10.000 kelimeye kadar metin çıktısı üretebileceğini iddia ediyor.
Grup, çabalarını ve arXiv ön baskı sunucusunda bulunan yeni LLM’yi anlatan bir makale yazdı. LLM’ler ana akım haline geldikçe, birçoğu tam kitaplar veya el yazmaları gibi çok uzun cevaplar üretemediklerini fark etti – mevcut sınır yaklaşık 2.000 kelime gibi görünüyor.
Araştırmacılar bunun, hepsinin kısa belgeler üzerinde eğitilmiş olmasından kaynaklandığını öne sürüyorlar. Yeni çabalarında, LLM’ler biraz değiştirilirse ve çok daha uzun belgeler kullanılarak eğitilirse, daha uzun belgeler üretebileceklerini buldular.
Araştırma ekipleri fikirlerini test etmek için öncelikle çoğunlukla 2.000 kelimeden kısa belgeler içeren geleneksel bir veri setini kullanarak 9 milyar parametreli bir LLM eğitimi aldılar. Beklendiği gibi, sorgulandığında, en fazla 2.000 kelime uzunluğunda metinler oluşturabiliyordu.
Daha sonra, ekip, işlenen eğitim materyalini alt görevlere ayırmak için AgentWrite adını verdikleri bir boru hattı kullanarak geleneksel bir LLM’yi değiştirdi. Daha sonra, uzunlukları 2.000 ila 32.000 kelime arasında değişen 6.000 yazılı belgeyi içeren “LongWriter-6k” adını verdikleri bir veri kümesi oluşturdular.
Değiştirilmiş LLM’yi yeni veri kümesi LongWriter-6k kullanarak eğittiler ve bunu yapmanın, üretebileceği belgelerin kelime uzunluğunu yaklaşık 10.000 kelimeye çıkardığını buldular.
