Human-in-the-Loop'tan sistem sahipliğine
Bir insanın her AI kararını onaylaması güvenli görünebilir. Fakat yüzlerce kararı bağlam olmadan birkaç saniyede onaylayan kişi kontrol değil, gecikme ve sahte güven üretir.
AgileKoç gözetim modeli
Human in the loop tekil eylemi onaylar; human on the loop akışı sinyaller, örnekleme ve müdahale yetkisiyle gözetir; human above the loop ise sistemin amacını, sınırlarını ve kabul edilebilir riskini sahiplenir. ‘Above the loop’ burada AgileKoç'un öğretim modelidir; evrensel standart bir kategori değildir.
İnsan gözetiminin üç katmanı
Her işlemde insan olması, tek başına anlamlı insan kontrolü olduğu anlamına gelmez.
Above the loop
Amaç · politika · sınırlar · risk iştahı · sistem sahipliği
On the loop
İzleme · örnekleme · eşikler · durdurma/override yetkisi · operasyonel gözetim
In the loop
Tekil karar · onay · istisna yönetimi
Tasarlanmış sistem içinde sınırlandırılmış eylem
Her işlemde insan olması ≠ anlamlı insan kontrolü
Gözetimi bağlama göre seç
Amaç her eyleme insan eklemek değil, insan muhakemesini en çok değer ürettiği noktaya yerleştirmektir.
In the loop
Yüksek etkili, belirsiz veya geri alınması zor tekil eylemlerde karar öncesi insan onayı.
On the loop
Yüksek hacimli ve gözlemlenebilir akışlarda eşik, örnekleme, alarm ve durdurma yetkisiyle gözetim.
Above the loop
Amaç, politika, risk iştahı, başarı ölçüsü ve sistem sınırlarının insan sahipliği.
Anlamlı yetki
İnsan yalnızca ekranda bulunmaz; bilgiye, zamana ve kararı değiştirme gücüne sahiptir.
Stop kontrolü
Hata birikmeden sistemi yavaşlatacak, sınırlandıracak veya durduracak açık mekanizma.
Gözetim tasarımı vakası
Sekiz bin onay, görünmeyen sistematik hata
Bir sistem günde 8.000 düşük riskli karar üretiyor. İnsanlar her kararı yaklaşık 4 saniyede inceliyor ve kararların %99,7'sini onaylıyor. Daha sonra belirli bir müşteri segmentini sistematik biçimde etkileyen bir hata fark ediliyor.
Anlamlı gözetimin dört koşulu
Sinyal
İnsan neyin normalden saptığını görebilir.
Bağlam
Kaynak ve gerekçe inceleme anında erişilebilir.
Kapasite
İncelenecek hacim, ayrılan zamanla uyumludur.
Müdahale
Reviewer kararı değiştirebilir, eskale edebilir veya akışı durdurabilir.
Yanlış inanış
“Herhangi bir insan onayı anlamlı gözetim yaratır.”
Otomasyon yanlılığı, review yorgunluğu ve bağlam eksikliği insanı sembolik onaylayıcıya dönüştürebilir. Gözetim tasarımı risk, hacim, geri alınabilirlik ve mevcut sinyallere uymalıdır.
İşine götür
Bir AI akışında in, on ve above-the-loop sorumluluklarını kim üstleniyor?
Tekil onayı, operasyonel gözetimi ve sistem amacı/sınırlarının sahipliğini üç ayrı rol veya sorumluluk olarak yaz.
Kişisel düşünme alanı · kaydedilmez
Aklında kalsın
İnsan gözetimi bir onay kutusu değil; doğru sinyale, gerçek müdahale yetkisine ve sistem sahipliğine dayanan bir çalışma tasarımıdır.