AI'da güven, yönetişim ve hesap verebilirlik
Bir agent müşteriye ikna edici fakat yetkisiz bir taahhüt gönderiyor. Ekip ne olduğunu görebiliyor; ancak bu yetkiyi kimin verdiğini ve müşteri sonucunu kimin düzelteceğini söyleyemiyor. Sorun yalnızca model doğruluğu değildir.
Gerekçelendirilmiş güven
Operasyonel güven; sistemin ne yapabileceğinin bilinmesi, çıktının kanıtla izlenebilmesi, sınır ihlalinin fark edilmesi, geri alınabilmesi ve sonuçtan sorumlu sahibin belli olmasıdır.
Güvenin altı operasyonel dayanağı
Kullanıcının AI'yı sevmesi veya modelin yüksek confidence üretmesi tek başına güven kanıtı değildir.
Sınır
İzin verilen veri, araç, kullanıcı ve eylem alanı açıktır.
Provenance
Çıktının dayandığı kaynak ve dönüşümler izlenebilir.
Değerlendirme
Kalite ve risk, gerçek kullanım örneklerini temsil eden testlerle ölçülür.
Sahiplik
Politika, sistem ve müşteri sonucundan sorumlu roller adlandırılır.
Olay kanıtı
Kim, ne zaman, hangi veri ve yetkiyle eylem üretti görülebilir.
Recovery
Override, rollback, müşteri telafisi ve tekrar önleme yolu tanımlıdır.
Yönetişim vakası
Agent'ın yetkisiz müşteri sözü
Satış destek agent'ı, fiyat tablosunu yorumlayıp müşteriye iki yıllık sabit fiyat sözü gönderiyor. Mesaj kaliteli ve teklif cazip; fakat agent'ın sözleşme taahhüdü verme yetkisi yok.
Hangi kontroller eksik?
Önleyici olarak gönderim yetkisi ve fiyat sınırı; tespit edici olarak taahhüt alarmı ve iz kaydı; iyileştirici olarak mesajı geri çağırma, adlandırılmış müşteri sahibi ve olay sonrası kural güncellemesi gerekir.
Yönetişimi işin içine yerleştir
Önle
Yetki ve veri sınırlarıyla kabul edilemez eylemi zorlaştır.
Tespit et
Sapmayı, beklenmeyen etkiyi ve sınır ihlalini görünür kıl.
Yanıt ver
Durdur, geri al, etkileneni bilgilendir ve sonucu onar.
Öğren
Olay kanıtını değerlendirme ve tasarım güncellemesine dönüştür.
Yanlış inanış
“Model daha doğru oldukça güven ve yönetişim sorunu büyük ölçüde çözülür.”
Doğru görünen bir çıktı yine yetkisiz, güncelliğini yitirmiş veya yanlış bağlama uygulanmış olabilir. Güven doğrulukla birlikte yetki, izlenebilirlik ve recovery kapasitesi ister.
Kendini test et
Kullandığın bir AI akışında hata olduğunda kim fark eder, kim durdurur, kim sonucu düzeltir ve hangi kanıt kalır?
Bu dört sorudan biri cevapsızsa yönetişim boşluğu vardır.
Aklında kalsın
Güven bir his veya confidence skoru değil; bilinen sınırlar ve kanıtla çalışan önleme, tespit ve iyileştirme kapasitesidir.