Yapay zekâ sistemleri “tarafsız makineler” gibi görünse de insanların ürettiği verilerden öğrenirler. Bu veriler toplumdaki eşitsizlikleri, eksik temsilleri ya da geçmişteki hatalı kararları içeriyorsa, sistem de bunları öğrenir ve bazen daha da büyütür. Buna yapay zekâda yanlılık (önyargı ya da “bias”) denir.
Yanlılık nereden kaynaklanır?
- Dengesiz veri: Eğitim verisinde bazı grupların az temsil edilmesi, sistemin bu gruplarda daha kötü çalışmasına yol açar.
- Geçmişin yansıması: Geçmiş kararlar ayrımcıysa, onları taklit eden bir model de ayrımcı sonuç üretir.
- Ölçüm ve etiketleme: Neyin “başarı” sayılacağının yanlış tanımlanması ya da etiketleyenlerin kendi önyargıları.
- Kullanım bağlamı: Bir ülkede ya da grupta geliştirilen sistemin, farklı bir ortamda kontrol edilmeden kullanılması.
Gerçek örnekler
MIT’den Joy Buolamwini ve Timnit Gebru’nun 2018’de yayımladığı “Gender Shades” çalışması, ticari cinsiyet tanıma sistemlerinin açık tenli erkeklerde neredeyse hatasız çalışırken koyu tenli kadınlarda çok daha yüksek hata oranlarına sahip olduğunu gösterdi. ABD Ulusal Standartlar ve Teknoloji Enstitüsü’nün (NIST) 2019 testleri de pek çok yüz tanıma algoritmasında demografik gruplara göre farklı hata oranları buldu. Reuters’ın 2018 haberine göre Amazon, geçmiş özgeçmiş verileriyle eğitilen ve kadın adayları dezavantajlı duruma düşüren deneysel bir işe alım aracını kullanımdan kaldırdı.
Büyük dil modelleri ve görsel üreticiler de meslekleri belirli cinsiyetlerle eşleştirmek ya da bazı kültürleri kalıplaşmış biçimde göstermek gibi yanlılıklar sergileyebilir.
Neden önemli?
Bir film önerisindeki yanlılık can sıkıcıdır; ama işe alım, kredi değerlendirmesi, sağlık hizmeti, sosyal yardım ya da adalet sistemi gibi alanlarda yanlılık, insanların hayatını doğrudan etkileyebilir. Bu nedenle AB Yapay Zekâ Yasası, yüksek riskli sistemler için veri kalitesi, belgeleme ve insan denetimi şartları getiriyor.
Çözüm yolları
- Çeşitli ve temsil gücü yüksek veri setleri kullanmak.
- Sistemleri yayına almadan önce farklı gruplarda ayrı ayrı test etmek ve sonuçları yayımlamak.
- Kararların nasıl verildiğini açıklayabilen, denetlenebilir sistemler tasarlamak.
- Önemli kararlarda son sözü insana bırakmak ve itiraz yolu sunmak.
- Geliştirme ekiplerinde farklı bakış açılarına yer vermek.
Kullanıcılar için ipuçları
Yapay zekâ araçlarının ürettiği metin ve görselleri sorgulayarak kullanın; özellikle insanlar, gruplar ve kültürler hakkındaki genellemelere dikkat edin. Sizi etkileyen otomatik bir karar olduğunda nasıl verildiğini sorma ve itiraz etme hakkınızı araştırın.
Yanlılık nasıl ölçülür? Adalet ölçütleri
Bir modelin yanlı olup olmadığını anlamak için sonuçları gruplara göre karşılaştırmak gerekir. Araştırmacıların en sık kullandığı ölçütler şunlardır:
- Demografik eşitlik: Olumlu karar (ör. krediye onay) oranının farklı gruplarda benzer olup olmadığına bakılır.
- Eşit hata oranları: Yanlış pozitif ve yanlış negatif oranlarının gruplar arasında yakın olması beklenir.
- Kalibrasyon: Model "yüzde 70 olasılık" dediğinde, bu tahminin her grupta gerçekten yaklaşık yüzde 70 isabet etmesi istenir.
Önemli bir nokta: Alexandra Chouldechova'nın 2017 tarihli çalışması, grupların temel oranları farklı olduğunda kalibrasyon ile eşit hata oranlarının aynı anda tam olarak sağlanamayacağını gösterdi. Bu yüzden "adil model" tek bir sayı değil, bağlama göre yapılan bilinçli bir seçimdir ve bu seçimin gerekçesi açıkça yazılmalıdır.
Yasal çerçeve ve standartlar
ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), 2022'de yayımladığı SP 1270 raporunda YZ yanlılığını üç ana kaynağa ayırır: sistemik (kurumsal ve toplumsal), istatistiksel/hesaplamalı (veri ve modelden gelen) ve insani (tasarım ve kullanım kararlarından gelen) yanlılık. Rapor, sorunun yalnız teknik düzeltmeyle çözülemeyeceğini vurgular.
Avrupa Birliği'nin Yapay Zekâ Yasası (Tüzük 2024/1689) ise yüksek riskli sistemlerde, örneğin işe alım ya da kredi değerlendirmesinde, eğitim verisinin olası yanlılıklar açısından incelenmesini ve bunları önlemek için uygun önlemler alınmasını şart koşar. Kurumlar için bu, yanlılık testinin isteğe bağlı bir iyi uygulama olmaktan çıkıp yasal bir yükümlülüğe dönüşmesi demektir.
Kaynaklar ve ileri okuma
- Buolamwini, J. ve Gebru, T., “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, FAT* (2018).
- NIST, “Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects”, NISTIR 8280 (2019).
- Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women” (2018).
- Avrupa Birliği, Yapay Zekâ Yasası (Tüzük 2024/1689).
- NIST SP 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)
- EUR-Lex – Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 10
- Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2)
Bir yorum bırakın
E-posta adresiniz yayınlanmayacaktır. Gerekli alanlar * ile işaretlenmiştir