İçeriğe geç
Haber Akışı Teknoloji Yapay Zeka Strateji Güvenlik Bilişim Girişimcilik Fintech Enerji Son dakika
  1. Ana sayfa
  2. Yapay Zeka

Pretxt, AI ajanlarını gerçek zamanlı denetliyor

Pretxt, 5 milyon dolarlık tohum yatırımla çıktı. AI Supervision aracı, şirket kurallarını ihlal eden yapay zeka ajanlarına çalışırken müdahale ediyor.

Ender Öztürk

okunma

Pretxt AI Supervision aracının tanıtım görseli
30 saniyede bu haberin özeti
  • Pretxt, 5 milyon dolarlık tohum yatırımla AI Supervision adlı yapay zeka ajanı denetim aracını duyurdu.
  • Araç, ajanların kural ihlallerini çalışma anında yakalayıp müdahale ediyor, öngörülmemiş durumları insana yönlendiriyor.
  • AI Supervision şu an erken erişimde ve finans, sigorta ile sağlık gibi düzenlemeli sektörleri hedefliyor.

Pretxt, otonom yapay zeka ajanlarını çalışırken denetleyen AI Supervision aracıyla 5 milyon dolarlık tohum yatırımla piyasaya çıktı. Araç, bir ajanın şirket kurallarından saptığını fark ettiği anda devreye girip onu yola geri sokuyor. Ama kurallarda karşılığı olmayan bir durum çıkarsa ajanı durdurup kararı bir insana bırakıyor.

Yatırım turuna Deciens Capital liderlik etti. Howdy Partners, Service Provider Capital ve NSV Wolf Capital de turda yer aldı. Girişim, Pretxt AI adıyla çalışıyor ve aracı bugün duyurdu. Ayrıntıları SiliconANGLE'ın haberi aktardı.

Pretxt yatırım ve ürün

Pretxt ile çalışma anında denetim

Şirketler ajanlara artık e-posta taslağı yazmaktan ya da görsel üretmekten daha ağır işler vermeye başlıyor. Müşteri iadelerini yönetmek, kritik veri tabanlarına girmek ve içlerindeki kayıtları değiştirmek bunlardan bazıları. Bu işlerde ajanın hata yapmayacağına dair sağlam bir güvence gerekiyor.

Ama bu güvence kolay bulunmuyor. Yapay zeka, cevabı bilmediğinde “halüsinasyon” görüyor, yani yanıt uyduruyor. Otonom ajanlar da tutarsız davrandı. Kötü niyetli bir komut olmasa bile iş akışındaki zorunlu adımları atlayabiliyor. İşi kolaylaştırmak için politika istisnası da icat edebiliyor. Bunu hem laboratuvarda hem gerçek dünyada gösterdiler.

Mevcut güvenlik araçlarının çoğu iki yoldan birini seçiyor. Ajanları baştan engelliyorlar, bu da işi yavaşlatıyor. Diğer yol hataları sonradan işaretlemek. Ancak o zamana kadar ciddi bir zarar oluşmuş olabiliyor.

Pretxt'in yaklaşımı bu ikisinin arasında duruyor. Şirket, ajanlar iş yaparken onları sürekli izleyen bir denetim katmanı sunuyor. Katman, ajanın davranışını kurumun kural ve politikalarıyla karşılaştırıyor. Ajan rotadan çıkmaya başlarsa araç hemen devreye giriyor. Böylece işe zarar verecek kritik bir hata oluşmadan önce müdahale ediliyor.

Hakem model yerine hızlı motor

Birçok izleme aracı, asıl işi yapan büyük dil modelini (LLM) denetlemek için ikinci bir modeli “hakem” olarak kullanıyor. Kurucular bu fikri benimsemedi. Gerekçeleri şunlar: gecikme yaratıyor, hesaplama maliyetini artırıyor ve fazlasıyla tahmine dayanıyor.

Bunun yerine platform, neredeyse deterministik, yani aynı girdiye hemen hemen hep aynı yanıtı veren bir motora dayanıyor. Motor, ajanın eylemlerini milisaniyeler içinde değerlendiriyor. Kuralı bozan adımları süreç sürerken yakalayıp araya giriyor. Şirket, LLM hakem kullanan güvenlik araçlarından 60 kata kadar hızlı çalıştığını söylüyor.

Zapier'in AutomationBench testinde ajanların politika ihlali oranı yaklaşık beşte birden sıfıra indi. Aracın kurulumu da basit tutulmuş. Ekiplerin denetledikleri modeli ya da ajanı derinlemesine bilmesi gerekmiyor.

Kullanıcılar bir ajana hangi politika, standart ve sınırların uygulanacağını seçiyor. Sonra bunları gerçek zamanlı izliyor. Platform onayları takip etmeye ve plan sürümlerini geri almaya izin veriyor. Zor uç durumlar ise insan karar vericilere yöneltiliyor.

Bu son özellik önemli, çünkü pek çok kurumun güvenlik planında, ajan öngörülmemiş bir durumla karşılaşınca boşluk oluşuyor. Böyle anlarda Pretxt ajanı durduruyor ve kuralın ne olması gerektiğine bir insanın karar vermesini istiyor.

Teknik direktör Aaron Costello şöyle konuştu: “Bir yapay zeka ajanını denetlemek, dokunduğu her şeyin ya da nasıl yapıldığının uzmanı olmak anlamına gelmemeli. Ekipler bize ajanın nasıl davranması gerektiğini ve sınırların nerede olduğunu düz bir dille anlatıyor. Biz de ajanı bu sınırlar içinde tutacak şekilde denetliyor ve yönlendiriyoruz. İzinleri çözmeye ya da ajanın iç yapısını karıştırmaya gerek kalmıyor.”

Hedefte düzenlemeli sektörler

Pretxt'in kurucu ortakları Brian Soby ve Aaron Costello. Genel müdür Soby, daha önce Salesforce ve Mitre'de üst düzey güvenlik görevlerinde çalıştı. Ardından hizmet olarak yazılım (SaaS) güvenliği alanındaki AppOmni'yi kurdu. Costello ile orada tanıştı.

İkili AppOmni'de Salesforce ve ServiceNow'un geliştirdiği yapay zeka ajanlarında birkaç büyük güvenlik açığı buldu. Ajanların güvenli çalışması için nelerin gerektiğini de bu süreçte anlamaya başladılar.

Şirket öncelikle, hata ve halüsinasyonun kabul edilemeyeceği yüksek riskli, düzenlemeli sektörleri hedefliyor. Örnek kullanım alanları şöyle:

  • Finans ve sigorta: Borçlu doğrulama kurallarını uygulatıyor, karmaşık hasar dosyalarını insanlara yönlendiriyor.
  • Sağlık ve yaşam bilimleri: Ajanların katı sınırların dışına çıkmamasını sağlıyor.
  • Müşteri desteği: Ajanların müşterilere onaylanmamış indirim ya da iade teklif etmesini önlüyor.

Aracın faydası farklı ekiplere dağılıyor. Bilgi işlem direktörleri ve diğer üst yöneticiler, daha değerli yapay zeka projelerini güvenle büyütebilecek. Güvenlik ekipleri, uyum görevlileri ve platform mühendisleri ise risk yönetimindeki boşlukları kapatabilecek. Düşük gecikmeli politika uygulaması için ek model eklemeleri de gerekmeyecek.

Enterprise Management Associates analisti Chris Steffen, Pretxt'i farklı kılanın temel işlere odaklanması olduğunu söyledi. Araç yalnızca ajanların kurallara uyup uymadığına bakmıyor. Ajanların kendilerine verilen işi kuralları çiğnemeden ve kestirmeden gitmeden yaptığını da doğruluyor. Steffen bunu fiilen yeni bir yapay zeka denetim kategorisi olarak tanımladı.

Steffen şunları ekledi: “Çoğu araç bir ajanın güvenli, uyumlu ya da gözlemlenebilir olup olmadığını soruyor. Ajanın kendisine verilen işi doğru yapıp yapmadığını gösterebilen araç çok daha az. Çoğu araç neyin ters gittiğini ancak iş işten geçtikten sonra raporlayabiliyor. Pretxt ise sonuç hala değişebilirken devreye girip ajanları yola geri getiriyor.”

Pretxt AI Supervision şu an erken erişimde. İlgilenen şirketler başvuruyu erken erişim sayfası üzerinden yapabiliyor.

Haberde hata mı var?Bize bildirin

Senin fikrin ne?

Bu gelişme hakkında sen ne düşünüyorsun?

Yorumlar

İlk yorumu siz yazın.

Yorumlar yapay zeka destekli ön elemeden geçer; son karar moderatördedir. Topluluk kuralları

Günün teknolojisi, sabah 08.00’de

Seçtiğiniz konularda günün 5 önemli haberi, her biri 30 saniyelik özetiyle. Reklamsız, tek tıkla ayrılırsınız.

Reklam