Aller au contenu

Le savoir qui éclaire le monde

Qu'est-ce que le biais dans l'IA ? D'où il vient, exemples concrets et solutions

Les systèmes d'IA peuvent apprendre et amplifier les inégalités présentes dans les données sur lesquelles ils sont entraînés. Exemples concrets de biais du recrutement à la reconnaissance faciale, leurs sources, comment ils sont mesurés, et mesures que développeurs et utilisateurs peuvent prendre.

Qu'est-ce que le biais dans l'IA ? D'où il vient, exemples concrets et solutions

Les systèmes d'IA peuvent ressembler à des « machines neutres », mais ils apprennent à partir de données produites par des humains. Si ces données contiennent des inégalités sociales, une sous-représentation ou de mauvaises décisions passées, le système les apprend et les amplifie parfois. C'est ce qu'on appelle le biais dans l'IA.

D'où vient le biais ?

  • Données déséquilibrées : Si certains groupes sont sous-représentés dans les données d'entraînement, le système fonctionne moins bien pour eux.
  • Reflet du passé : Si les décisions passées étaient discriminatoires, un modèle les imitant produira des résultats discriminatoires.
  • Mesure et étiquetage : Définir le « succès » à tort, ou les biais propres aux annotateurs.
  • Contexte d'utilisation : Utiliser un système développé dans un pays ou pour un groupe dans un autre contexte sans le vérifier.

Exemples concrets

L'étude « Gender Shades » de 2018 par Joy Buolamwini et Timnit Gebru du MIT a montré que les systèmes commerciaux de classification de genre étaient presque sans erreur pour les hommes à peau claire, mais avaient des taux d'erreur bien plus élevés pour les femmes à peau foncée. Des tests de l'Institut national américain des normes et de la technologie (NIST) en 2019 ont également révélé des taux d'erreur différents selon les groupes démographiques dans de nombreux algorithmes de reconnaissance faciale. Selon un rapport de Reuters de 2018, Amazon a abandonné un outil expérimental de recrutement entraîné sur d'anciens CV qui désavantageait les candidates femmes.

Les grands modèles de langage et les générateurs d'images peuvent aussi montrer des biais, comme associer des métiers à des genres particuliers ou dépeindre certaines cultures de façon stéréotypée.

Pourquoi est-ce important ?

Un biais dans une recommandation de film est agaçant ; mais dans le recrutement, la notation de crédit, les soins de santé, les prestations sociales ou le système judiciaire, le biais peut affecter directement la vie des gens. C'est pourquoi l'AI Act de l'UE impose des exigences de qualité des données, de documentation et de supervision humaine pour les systèmes à haut risque.

Moyens d'y remédier

  • Utiliser des jeux de données diversifiés et représentatifs.
  • Tester les systèmes séparément pour différents groupes avant la mise en service et publier les résultats.
  • Concevoir des systèmes auditable qui peuvent expliquer comment les décisions sont prises.
  • Laisser le dernier mot sur les décisions importantes à un humain et offrir une voie de recours.
  • Inclure différentes perspectives dans les équipes de développement.

Conseils pour les utilisateurs

Utilisez les textes et images produits par les outils d'IA avec un esprit critique ; surveillez surtout les généralisations sur les personnes, les groupes et les cultures. Lorsqu'une décision automatisée vous affecte, renseignez-vous sur votre droit de demander comment elle a été prise et de la contester.

Comment le biais est-il mesuré ? Métriques d'équité

Pour savoir si un modèle est biaisé, il faut comparer ses résultats entre groupes. Les métriques que les chercheurs utilisent le plus souvent sont les suivantes :

  • Parité démographique : Elle vérifie si le taux de décisions positives (par exemple, octroi de prêt) est similaire entre différents groupes.
  • Taux d'erreur égaux : Les taux de faux positifs et de faux négatifs doivent être proches entre groupes.
  • Calibration : Quand le modèle dit « 70 % de probabilité », cette prédiction doit être correcte environ 70 % du temps dans chaque groupe.

Point important : l'étude d'Alexandra Chouldechova de 2017 a montré que lorsque les groupes ont des taux de base différents, la calibration et les taux d'erreur égaux ne peuvent pas être tous deux pleinement satisfaits en même temps. C'est pourquoi un « modèle équitable » n'est pas un chiffre unique mais un choix délibéré selon le contexte, et le raisonnement derrière ce choix doit être documenté ouvertement.

Cadre légal et normes

Dans son rapport SP 1270 publié en 2022, l'Institut national américain des normes et de la technologie (NIST) divise le biais de l'IA en trois sources principales : systémique (institutionnelle et sociétale), statistique/computationnelle (venant des données et modèles) et humaine (venant des décisions de conception et d'usage). Le rapport souligne que le problème ne peut être résolu par des correctifs techniques seuls.

L'Acte sur l'intelligence artificielle de l'Union européenne (Règlement 2024/1689) exige que, dans les systèmes à haut risque tels que le recrutement ou l'évaluation de crédit, les données d'entraînement soient examinées pour détecter d'éventuels biais et que des mesures appropriées soient prises pour les prévenir. Pour les organisations, cela signifie que les tests de biais passent d'une bonne pratique optionnelle à une obligation légale.

Sources et lectures complémentaires

  1. Buolamwini, J. and Gebru, T., « Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification », FAT* (2018).
  2. NIST, « Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects », NISTIR 8280 (2019).
  3. Reuters, « Amazon scraps secret AI recruiting tool that showed bias against women » (2018).
  4. European Union, Artificial Intelligence Act (Regulation 2024/1689).
  5. NIST SP 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)
  6. EUR-Lex – Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 10
  7. Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2)
Partager
Suivez YulaHubRecevez en premier les informations les plus importantes du jour.
RSS

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont marqués *