Nightshade, saldırgan bir veri zehirleme aracı Glaze adlı bir savunma tarzı koruma aracının tamamlayıcısı.
Nightshade, verileri izinsiz tüketen modellere hazımsızlık yaşatmak için görüntü dosyalarını zehirliyor. Görüntü odaklı modelleri eğitenlerin, içerik oluşturucuların çalışmalarının kullanımına ilişkin isteklerine saygı duymasını sağlamak amaçlanıyor.
Projeden sorumlu ekip, “Nightshade, orijinal görüntüde gözle görülür değişiklikleri en aza indiren çok amaçlı bir optimizasyon olarak hesaplanıyor.” şeklinde açıklıyor.
“Örneğin, insan gözü yeşil bir alanda gölgeli bir ineğin görüntüsünü büyük ölçüde değişmeden görebilir, ancak bir yapay zeka modeli çimlerin arasında uzanan büyük bir deri çantayı görebilir.“
Nightshade, Chicago Üniversitesi doktora öğrencileri Shawn Shan, Wenxin Ding ve Josephine Passananti ile bazıları Glaze’e de yardımcı olan profesörler Heather Zheng ve Ben Zhao tarafından geliştirildi.
Ekim 2023’te bir araştırma makalesinde açıklanan Nightshade, aslında anlık bir zehirlenme saldırısı. Bir görseli zehirlemek, görsel model eğitimi için alındığında kavramın sınırlarını bulanıklaştırmak amacıyla gerçekte neyin tasvir edildiğini açıklayan bir etiketin seçilmesi anlamına geliyor.
Yani Nightshade’in zehirli görüntüleri konusunda eğitilmiş bir modelin kullanıcısı, bir kedi için istem gönderebilir ve bir köpek veya balık görüntüsüne ilişkin bildirim alabilir. Bu türden öngörülemeyen yanıtlar, metinden görüntüye modelleri önemli ölçüde daha az kullanışlı hale getiriyor; bu da model yapımcılarının yalnızca ücretsiz olarak sunulan veriler üzerinde eğitim aldıklarından emin olma teşvikine sahip oldukları anlamına geliyor.
Yazarlar makalelerinde “Nightshade, içerik sahiplerinin fikri mülkiyetlerini, telif hakkı bildirimlerini, kazıma/tarama direktiflerini ve devre dışı bırakma listelerini göz ardı eden veya göz ardı eden model eğitmenlere karşı korumaları için güçlü bir araç sağlayabilir.” diyor.
Sanat eseri yaratıcılarının ve sahiplerinin isteklerinin dikkate alınmaması, yapay zeka işletmelerinin yararına verilerin izinsiz toplanmasına karşı daha geniş bir tepkinin parçası olarak geçen yıl bir dava açılmasına yol açtı. Birkaç sanatçı adına Stability AI, Deviant Art ve Midjourney‘e karşı yapılan ihlal iddiasında, davalı firmalar tarafından kullanılan Stable Diffusion modelinin sanatçıların çalışmalarını izinsiz olarak içerdiği iddia ediliyor. Kasım 2023’te yeni bir sanık olan Runway AI’i içerecek şekilde değiştirilen dava, hala devam ediyor.
Yazarlar, Nightshade’in bazı sınırlamaları olduğu konusunda uyarıyor. Özellikle, yazılımla işlenen görüntüler, özellikle de düz renkler ve pürüzsüz arka planlar kullanan resimler orijinalinden biraz farklı olabilir. Ayrıca Nightshade’i geri alma tekniklerinin geliştirilebileceğini gözlemliyorlar, ancak yazılımlarını karşı önlemlere ayak uyduracak şekilde uyarlayabileceklerine inanıyorlar.
Alberta Üniversitesi’nde Bilgisayar Bilimi yardımcı doçenti Matthew Guzdial, bir sosyal medya gönderisinde şöyle dedi : “Bu harika ve zamanında yapılmış bir çalışma! Ancak çözüm olarak abartıldığından endişeleniyorum. Yalnızca CLIP tabanlı modellerle ve yazarlara göre çalışıyor LAION modelleri için benzer görüntülerin oluşturulmasında önemli bir etki yaratmak için 8 milyon görüntünün ‘zehirlenmesi’ gerekir.“
Geçtiğimiz Haziran ayında 1.0’a ulaşan Glaze’in bir web sürümü var ve şu anda 1.1.1 sürümünde, bu görüntüler üzerinde eğitilen modellerin sanatçının görsel stilini kopyalamasını önlemek için görüntüleri değiştiriyor.
Midjourney gibi kapalı metin-görüntü hizmetleri ve Stable Diffusion gibi açık kaynaklı modeller yoluyla elde edilebilen stil taklidi, yalnızca metinden görüntüye modelinin belirli bir sanatçının tarzında bir görüntü üretmesini teşvik ederek mümkün.
Ekip, sanatçıların görsel tarzlarının yakalanmasını ve çoğaltılmasını önleyecek bir yola sahip olmaları gerektiğine inanıyor.
Boffins, “Tarz taklidi, ilk bakışta bariz olmayabilecek bir takım zararlı sonuçlar doğuruyor.” diyor. “Stilleri kasıtlı olarak kopyalanan sanatçılar, yalnızca komisyonlarda ve temel gelirde kayıp görmekle kalmıyor, aynı zamanda çevrimiçi olarak dağıtılan düşük kaliteli sentetik kopyalar da markalarını ve itibarlarını zedeliyor. En önemlisi, sanatçılar stillerini kendi kimlikleriyle ilişkilendiriyorlar.“
Stil taklidini kimlik hırsızlığına benzetiyorlar ve bunun sanatçıları yeni işler yaratma konusunda caydırdığını söylüyorlar.
Ekip, sanatçıların hem Nightshade hem de Glaze kullanmasını öneriyor. Şu anda iki aracın her birinin ayrı ayrı indirilip kurulması gerekiyor, ancak birleşik bir sürüm geliştiriliyor.