RTX ile Sohbet olarak adlandırılan Nvidia aracı, kullanıcıların bir GenAI modelini daha sonra sorgulayabileceği belgelere, dosyalara ve notlara bağlayarak OpenAI’in ChatGPT’sine göre özelleştirmelerine olanak tanıyor.
Nvidia bir blog yazısında şöyle yazıyor: “Kullanıcılar notlarda veya kayıtlı içerikte arama yapmak yerine yalnızca sorgu yazabilir.” “Örneğin, ‘Partnerimin Las Vegas’ta önerdiği restoran hangisiydi?’ diye sorulabilir ve RTX ile Sohbet, kullanıcının işaret ettiği yerel dosyaları tarayacak ve yanıtı bağlamla birlikte sunar.“
RTX ile sohbet, varsayılan olarak yapay zeka girişimi Mistral’in açık kaynak modelini kullanıyor ancak Meta’nın Llama 2’si de dahil olmak üzere diğer metin tabanlı modelleri de destekliyor. Nvidia, gerekli tüm dosyaların indirilmesinin, seçilen modele/modellere bağlı olarak 50 GB ila 100 GB arasında makul miktarda depolama alanı tüketeceği konusunda uyarıyor.
Şu anda, RTX ile Sohbet, metin, PDF, .doc, .docx ve .xml formatlarıyla çalışıyor. Uygulamayı desteklenen dosyalar içeren bir klasöre yönlendirmek, dosyaları modelin ince ayar veri setine yükleyecektir. Ayrıca, RTX ile Sohbet, YouTube çalma listesinin URL’sini alarak çalma listesindeki videoların transkripsiyonlarını yükleyebilir ve seçilen modelin içeriklerini sorgulayabilir.
Şimdi, Nvidia’nın nasıl yapılır kılavuzunda ana hatlarıyla belirttiği, akılda tutulması gereken bazı sınırlamalar var.
RTX ile sohbet, bağlamı hatırlayamıyor; bu da uygulamanın, sonraki soruları yanıtlarken önceki soruları dikkate almayacağı anlamına geliyor. Örneğin, “Kuzey Amerika’da en yaygın kuş nedir?” ve bunu “Renkleri nelerdir?” sorusuyla takip edin. RTX ile sohbet, kuşlardan bahsettiğinizi anlamayacaktır.
Nvidia ayrıca, uygulamanın yanıtlarının ilgiliğinin, bazıları diğerlerine göre daha kolay kontrol edilebilecek bir dizi faktörden etkilenebileceğini kabul ediyor. Bu faktörler arasında soru şekillendirme, seçilen modelin performansı ve ince ayar veri setinin boyutu gibi etkenler bulunmaktadır. Birkaç belgede yer alan gerçeklerin istenmesi, bir belge veya belge setinin özetinin istenmesinden daha iyi sonuçlar verecektir. Nvidia, yanıt kalitesinin genellikle daha büyük veri kümeleri ile iyileşeceğini ve Chat with RTX’i belirli bir konu hakkında daha fazla içeriğe yönlendirdiğinizde bunun daha iyi sonuçlar vereceğini söylüyor.
Yani RTX ile Sohbet, üretimde kullanılacak her şeyden çok bir oyuncak. Yine de yapay zeka modellerini yerel olarak çalıştırmayı kolaylaştıran uygulamalar hakkında söylenecek bir şeyler var; bu da giderek büyüyen bir trend.
Yakın tarihli bir raporda, Dünya Ekonomik Forumu, PC’ler, akıllı telefonlar, Nesnelerin İnterneti cihazları ve ağ ekipmanları dahil olmak üzere GenAI modellerini çevrimdışı çalıştırabilen uygun fiyatlı cihazlarda “dramatik” bir büyüme öngördü. WEF’e göre bunun nedenleri açık avantajlardır: Çevrimdışı modeller doğası gereği daha özel olmakla kalmaz, aynı zamanda bulutta barındırılan modellere göre daha düşük gecikme süresine sahiptirler ve daha uygun maliyetlidirler.
Elbette, modelleri çalıştırmak ve eğitmek için kullanılan araçların demokratikleştirilmesi, kötü niyetli aktörlerin kapısını açıyor; üstünkörü bir Google Araması, web’in vicdansız köşelerinden gelen zehirli içeriğe göre ince ayar yapılmış modeller için birçok liste ortaya çıkarıyor. Ancak RTX ile Sohbet gibi uygulamaların savunucuları, yararlarının zararlarından daha ağır bastığını savunuyor. Bekleyip görmemiz gerekecek.
