NIST, yapay zeka güvenliği testleri için açık kaynaklı platform yayınladı. Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), makine öğrenimi (ML) modellerinin çeşitli saldırı türlerine karşı dayanıklılığını test etmek için yeni bir açık kaynaklı yazılım aracı yayınladı. Dioptra olarak bilinen araç NIST’in yeni yapay zeka kılavuzuyla birlikte yayınlandı ve Başkan Joe Biden’ın Yapay Zekanın Güvenli, Emniyetli ve Güvenilir Gelişimine İlişkin Yürütme Emri’nin imzalanmasının 270. günü dolayısıyla duyuruldu.
NIST yapay zeka güvenliği
GitHub’da bulunan Dioptra aracı, NIST’in AI model testlerine yardımcı olması yönündeki yürütme emri gereksinimini karşılayacak ve ayrıca NIST’in AI Risk Yönetim Çerçevesi’nin “ölçüm” işlevini destekleyecek. NIST sözcüsüÇ “Dioptra’nın açık kaynaklı geliştirilmesi 2022’de başladı, ancak geçen Cuma, 26 Temmuz’a kadar alfa ‘ön sürüm’ durumundaydı. Alfa sürümünden yeni olan temel özellikler arasında yeni bir web tabanlı ön uç, kullanıcı kimlik doğrulaması ve bir deneyin tüm unsurlarının köken takibi yer alıyor, bu da sonuçların yeniden üretilebilirliğini ve doğrulanmasını sağlıyor” dedi.
NIST’in önceki araştırmaları, makine öğrenimi algoritmalarına karşı üç ana saldırı kategorisi belirlemişti: kaçınma, zehirleme ve kehanet. NIST’e göre, kaçınma saldırıları, veri girişini manipüle ederek (örneğin, gürültü ekleyerek) yanlış bir model yanıtı tetiklemeyi, zehirleme saldırıları, eğitim verilerini değiştirerek modelin doğruluğunu engellemeyi ve yanlış ilişkilere yol açmayı, oracle saldırıları ise eğitim veri kümesi veya parametreleri hakkında bilgi edinmek için modeli “tersine mühendislik” etmeyi amaçlar. Dioptra aracı başlangıçta görüntü sınıflandırma modellerine yönelik saldırıları ölçmek için oluşturulmuştu ancak konuşma tanıma modelleri gibi diğer ML uygulamalarını test etmek için de uyarlanabilirdi.
Ücretsiz platform, kullanıcıların belirtilen üç kategorideki saldırıların model performansını ne ölçüde etkileyeceğini belirlemelerine olanak tanır ve ayrıca veri temizleme veya daha sağlam eğitim yöntemleri gibi çeşitli savunmaların kullanımını ölçmek için de kullanılabilir.
Açık kaynaklı test ortamı, farklı modeller, eğitim veri kümeleri, saldırı taktikleri ve savunmalar gibi farklı faktör kombinasyonlarıyla denemeyi destekleyecek şekilde modüler bir tasarıma sahip.