Ir al contenido

El conocimiento que ilumina el mundo

Qué es el sesgo en la IA: de dónde viene, ejemplos reales y soluciones

Los sistemas de IA pueden aprender y amplificar las desigualdades presentes en los datos con los que se entrenan. Ejemplos reales de sesgo desde la contratación hasta el reconocimiento facial, sus fuentes, cómo se mide y medidas que pueden tomar desarrolladores y usuarios.

Qué es el sesgo en la IA: de dónde viene, ejemplos reales y soluciones

Los sistemas de IA pueden parecer «máquinas neutrales», pero aprenden de datos producidos por personas. Si esos datos contienen desigualdades sociales, infrarrepresentación o decisiones erróneas del pasado, el sistema las aprende y a veces las amplifica. A esto se le llama sesgo en la IA.

¿De dónde viene el sesgo?

  • Datos desequilibrados: Si algunos grupos están infrarrepresentados en los datos de entrenamiento, el sistema funciona peor para ellos.
  • Reflejo del pasado: Si las decisiones pasadas fueron discriminatorias, un modelo que las imita producirá resultados discriminatorios.
  • Medición y etiquetado: Definir mal el «éxito», o los propios sesgos de los etiquetadores.
  • Contexto de uso: Usar un sistema desarrollado en un país o grupo en un entorno diferente sin verificarlo.

Ejemplos reales

El estudio «Gender Shades» de 2018, de Joy Buolamwini y Timnit Gebru del MIT, mostró que los sistemas comerciales de clasificación de género eran casi infalibles para hombres de piel clara, pero tenían tasas de error mucho más altas para mujeres de piel más oscura. Pruebas del Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU. en 2019 también hallaron distintas tasas de error entre grupos demográficos en muchos algoritmos de reconocimiento facial. Según un informe de Reuters de 2018, Amazon descartó una herramienta experimental de contratación entrenada con CVs anteriores que perjudicaba a las candidatas mujeres.

Los grandes modelos de lenguaje y generadores de imágenes también pueden mostrar sesgo, como asociar profesiones a géneros concretos o representar algunas culturas de forma estereotipada.

¿Por qué importa?

El sesgo en una recomendación de película es molesto; pero en contratación, puntuación crediticia, atención sanitaria, prestaciones sociales o el sistema judicial, el sesgo puede afectar directamente la vida de las personas. Por eso el Reglamento de IA de la UE establece requisitos de calidad de datos, documentación y supervisión humana para sistemas de alto riesgo.

Formas de abordarlo

  • Usar conjuntos de datos diversos y representativos.
  • Probar los sistemas por separado en distintos grupos antes del lanzamiento y publicar los resultados.
  • Diseñar sistemas auditables que puedan explicar cómo se toman las decisiones.
  • Dejar la decisión final en asuntos importantes a una persona y ofrecer una vía de recurso.
  • Incluir distintas perspectivas en los equipos de desarrollo.

Consejos para usuarios

Utilice con espíritu crítico los textos e imágenes producidos por herramientas de IA; preste especial atención a generalizaciones sobre personas, grupos y culturas. Cuando una decisión automatizada le afecte, infórmese sobre su derecho a preguntar cómo se tomó y a impugnarla.

¿Cómo se mide el sesgo? Métricas de equidad

Para entender si un modelo tiene sesgo, hay que comparar sus resultados entre grupos. Las métricas que más usan los investigadores son estas:

  • Paridad demográfica: Comprueba si la tasa de decisiones positivas (por ejemplo, aprobación de un préstamo) es similar entre distintos grupos.
  • Tasas de error iguales: Se espera que las tasas de falsos positivos y falsos negativos sean cercanas entre grupos.
  • Calibración: Cuando el modelo dice «70 % de probabilidad», esa predicción debería acertar aproximadamente el 70 % de las veces en cada grupo.

Un punto importante: el estudio de Alexandra Chouldechova de 2017 mostró que, cuando los grupos tienen tasas base diferentes, la calibración y las tasas de error iguales no pueden satisfacerse plenamente al mismo tiempo. Por eso un «modelo justo» no es un único número, sino una elección deliberada según el contexto, y el razonamiento detrás de esa elección debe documentarse abiertamente.

Marco legal y estándares

En su informe SP 1270 publicado en 2022, el Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU. divide el sesgo en IA en tres fuentes principales: sistémica (institucional y social), estadística/computacional (proveniente de datos y modelos) y humana (proveniente de decisiones de diseño y uso). El informe subraya que el problema no puede resolverse solo con soluciones técnicas.

El Reglamento de Inteligencia Artificial de la Unión Europea (Reglamento 2024/1689) exige que, en sistemas de alto riesgo como la contratación o la evaluación crediticia, los datos de entrenamiento se examinen en busca de posibles sesgos y se tomen medidas adecuadas para prevenirlos. Para las organizaciones, esto convierte las pruebas de sesgo de una buena práctica opcional en una obligación legal.

Fuentes y lecturas adicionales

  1. Buolamwini, J. y Gebru, T., «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification», FAT* (2018).
  2. NIST, «Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects», NISTIR 8280 (2019).
  3. Reuters, «Amazon scraps secret AI recruiting tool that showed bias against women» (2018).
  4. Unión Europea, Reglamento de Inteligencia Artificial (Reglamento 2024/1689).
  5. NIST SP 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)
  6. EUR-Lex – Reglamento (UE) 2024/1689 (Reglamento de Inteligencia Artificial), Artículo 10
  7. Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2)
Compartir
Sigue a YulaHubRecibe primero las noticias más importantes del día.
RSS

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *