Μετάβαση στο περιεχόμενο

Γνώση που φωτίζει τον κόσμο

Τι είναι η προκατάληψη στην ΤΝ; Πού προέρχεται, πραγματικά παραδείγματα και λύσεις

Τα συστήματα ΤΝ μπορούν να μάθουν και να ενισχύσουν τις ανισότητες που υπάρχουν στα δεδομένα με τα οποία εκπαιδεύονται. Πραγματικά παραδείγματα προκατάληψης από την πρόσληψη μέχρι την αναγνώριση προσώπου, οι πηγές της, πώς μετράται και βήματα που μπορούν να πάρουν οι προγραμματιστές και οι χρήστες.

Τι είναι η προκατάληψη στην ΤΝ; Πού προέρχεται, πραγματικά παραδείγματα και λύσεις

Τα συστήματα ΤΝ μπορεί να μοιάζουν με «νευρικά μηχανήματα», αλλά μαθαίνουν από δεδομένα που παράγονται από ανθρώπους. Αν αυτά τα δεδομένα περιέχουν κοινωνικές ανισότητες, υποπροσπελασία ή λάθος αποφάσεις του παρελθόντος, το σύστημα τις μαθαίνει και μερικές φορές τις ενισχύει. Αυτό ονομάζεται προκατάληψη στην ΤΝ.

Από πού προέρχεται η προκατάληψη;

  • Μη ισορροπημένα δεδομένα: Αν ορισμένες ομάδες είναι υποπροσπελασμένες στα δεδομένα εκπαίδευσης, το σύστημα λειτουργεί χειρότερα για αυτές.
  • Αντικατοπτρίζοντας το παρελθόν: Αν οι αποφάσεις του παρελθόντος ήταν διακriminατικές, ένα μοντέλο που τις μιμείται θα παράγει διακriminατικά αποτελέσματα.
  • Μέτρηση και ετικέταση: Λάθος ορισμός της «επιτυχίας» ή οι δικές προκαταλήψεις των ετικεταστών.
  • Πλαίσιο χρήσης: Χρήση ενός συστήματος που αναπτύχθηκε σε μια χώρα ή ομάδα σε διαφορετικό πλαίσιο χωρίς να ελεγχθεί.

Πραγματικά παραδείγματα

Η μελέτη «Gender Shades» του 2018 από τη Joy Buolamwini και την Timnit Gebru του MIT έδειξε ότι εμπορικά συστήματα ταξινόμησης φύλου ήταν σχεδόν ασφαλή από σφάλματα για άνδρες με πιο ανοιχτό χρώμα δέρματος, αλλά είχαν πολύ υψηλότερα ποσοστά σφάλματος για γυναίκες με πιο σκούρο χρώμα δέρματος. Δοκιμές του Εθνικού Ινστιτούτου Προτύπων και Τεχνολογίας (NIST) των ΗΠΑ το 2019 βρήκαν επίσης διαφορετικά ποσοστά σφάλματος μεταξύ δημογραφικών ομάδων σε πολλούς αλγορίθμους αναγνώρισης προσώπου. Σύμφωνα με αναφορά της Reuters το 2018, η Amazon εγκατέλειψε ένα πειραματικό εργαλείο πρόσληψης που εκπαιδεύτηκε σε παλιά βιογραφικά και παρεμπόδιζε τις γυναίκες υποψήφιες.

Τα μεγάλα γλωσσικά μοντέλα και οι γεννήτριες εικόνων μπορούν επίσης να δείχνουν προκατάληψη, όπως η σύνδεση επαγγελμάτων με συγκεκριμένα φύλα ή η απεικόνιση ορισμένων πολιτισμών με στερεοτυπικούς τρόπους.

Γιατί έχει σημασία;

Η προκατάληψη σε μια σύσταση ταινίας είναι ενοχλητική· αλλά στην πρόσληψη, την πιστωτική βαθμολογία, την υγειονομική περίθαλψη, τις κοινωνικές παροχές ή το δικαιοσύνης σύστημα, η προκατάληψη μπορεί να επηρεάσει άμεσα τη ζωή των ανθρώπων. Γι' αυτό ο Νόμος της ΕΕ για την ΤΝ θέτει απαιτήσεις ποιότητας δεδομένων, τεκμηρίωσης και ανθρώπινης επίβλεψης για συστήματα υψηλού κινδύνου.

Τρόποι αντιμετώπισης

  • Χρήση ποικίλων, αντιπροσωπευτικών συνόλων δεδομένων.
  • Δοκιμή συστημάτων ξεχωριστά σε διαφορετικές ομάδες πριν την κυκλοφορία και δημοσίευση των αποτελεσμάτων.
  • Σχεδιασμός ελεγμένων συστημάτων που μπορούν να εξηγήσουν πώς γίνονται οι αποφάσεις.
  • Αφήστε την τελική λέξη σε σημαντικές αποφάσεις σε έναν άνθρωπο και προσφέρετε τρόπο προσφυγής.
  • Συμπεριλάβετε διαφορετικές προοπτικές στις ομάδες ανάπτυξης.

Συμβουλές για χρήστες

Χρησιμοποιείτε κείμενα και εικόνες που παράγονται από εργαλεία ΤΝ κριτικά· προσέξτε ειδικά για γενικεύσεις σχετικά με ανθρώπους, ομάδες και πολιτισμούς. Όταν μια αυτοματοποιημένη απόφαση σας αφορά, ενημερωθείτε για το δικαίωμά σας να ρωτήσετε πώς λήφθηκε και να την αντιπαραθέσετε.

Πώς μετράται η προκατάληψη; Μετρικές δικαιοσύνης

Για να κατανοηθεί αν ένα μοντέλο είναι προκαταληπτικό, τα αποτελέσματά του πρέπει να συγκριθούν μεταξύ ομάδων. Οι μετρικές που χρησιμοποιούν οι ερευνητές πιο συχνά είναι αυτές:

  • Ισότητα δημογραφικών χαρακτηριστικών: Ελέγχει αν το ποσοστό θετικών αποφάσεων (π.χ. έγκριση δανείου) είναι παρόμοιο σε διαφορετικές ομάδες.
  • Ισότητα ποσοστών σφάλματος: Οι ποσοστά ψευδώς θετικών και ψευδώς αρνητικών αποτελεσμάτων αναμένεται να είναι κοντά μεταξύ ομάδων.
  • Καλιβράρισμα: Όταν το μοντέλο λέει «70 τοις εκατό πιθανότητα», αυτή η πρόβλεψη πρέπει να είναι σωστή περίπου το 70 τοις εκατό του χρόνου σε κάθε ομάδα.

Ένα σημαντικό σημείο: Η μελέτη της Alexandra Chouldechova του 2017 έδειξε ότι όταν οι ομάδες έχουν διαφορετικά βασικά ποσοστά, το καλιβράρισμα και η ισότητα ποσοστών σφάλματος δεν μπορούν να ικανοποιηθούν και τα δύο πλήρως ταυτόχρονα. Γι' αυτό ένα «δίκαιο μοντέλο» δεν είναι ένας μοναδικός αριθμός αλλά μια συνειδητή επιλογή που γίνεται ανάλογα με το πλαίσιο, και ο λογισμός πίσω από αυτή την επιλογή πρέπει να γράφεται ανοιχτά.

Νομικό πλαίσιο και πρότυπα

Στην έκθεσή της SP 1270 που δημοσιεύτηκε το 2022, το Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας (NIST) των ΗΠΑ διαιρεί την προκατάληψη στην ΤΝ σε τρεις κύριες πηγές: συστημική (θεσμική και κοινωνική), στατιστική/υπολογιστική (προερχόμενη από δεδομένα και μοντέλα) και ανθρώπινη (προερχόμενη από αποφάσεις σχεδίασης και χρήσης). Η έκθεση τονίζει ότι το πρόβλημα δεν μπορεί να λυθεί μόνο με τεχνικές διορθώσεις.

Ο Νόμος της Ευρωπαϊκής Ένωσης για την Τεχνητή Νοημοσύνη (Κανονισμός 2024/1689) απαιτεί ότι, σε συστήματα υψηλού κινδύνου όπως η πρόσληψη ή η πιστωτική αξιολόγηση, τα δεδομένα εκπαίδευσης εξετάζονται για πιθανές προκαταλήψεις και λαμβάνονται κατάλληλα μέτρα για να τις αποτρέψουν. Για τους οργανισμούς, αυτό σημαίνει ότι οι δοκιμές προκατάληψης μεταβαίνουν από μια προαιρετική καλή πρακτική σε νομική υποχρέωση.

Πηγές και επιπλέον ανάγνωση

  1. Buolamwini, J. and Gebru, T., “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, FAT* (2018).
  2. NIST, “Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects”, NISTIR 8280 (2019).
  3. Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women” (2018).
  4. European Union, Artificial Intelligence Act (Regulation 2024/1689).
  5. NIST SP 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)
  6. EUR-Lex – Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 10
  7. Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2)
Κοινοποίηση
Ακολουθήστε το YulaHubΜάθετε πρώτοι τις σημαντικότερες ειδήσεις της ημέρας.
RSS

Αφήστε ένα σχόλιο

Η διεύθυνση email σας δεν θα δημοσιευθεί. Τα απαιτούμενα πεδία επισημαίνονται με *