Системы ИИ могут выглядеть как «нейтральные машины», но они обучаются на данных, созданных людьми. Если эти данные содержат социальное неравенство, недостаточное представление или ошибочные решения прошлого, система усваивает их и иногда усиливает. Это называется предвзятостью в ИИ.
Откуда берется предвзятость?
- Несбалансированные данные: Если некоторые группы недостаточно представлены в обучающих данных, система работает для них хуже.
- Отражение прошлого: Если прошлые решения были дискриминационными, модель, их копирующая, будет выдавать дискриминационные результаты.
- Измерение и разметка: Неправильное определение «успеха» или собственные предвзятости разметчиков.
- Контекст использования: Применение системы, разработанной в одной стране или для одной группы, в других условиях без проверки.
Реальные примеры
Исследование 2018 года «Gender Shades» Джой Буоламвини и Тимнит Гебру из MIT показало, что коммерческие системы классификации пола почти не ошибались для мужчин со светлой кожей, но имели значительно более высокий уровень ошибок для женщин с тёмной кожей. Тесты Национального института стандартов и технологий США (NIST) в 2019 году также выявили разные показатели ошибок для разных демографических групп во многих алгоритмах распознавания лиц. Согласно отчёту Reuters 2018 года, Amazon отказалась от экспериментального инструмента найма, обученного на прошлых резюме, который ставил в невыгодное положение женщин-кандидаток.
Большие языковые модели и генераторы изображений также могут демонстрировать предвзятость, например, связывая профессии с определёнными полами или изображая некоторые культуры стереотипными способами.
Почему это важно?
Предвзятость в рекомендации фильма раздражает; но в найме, кредитном скоринге, здравоохранении, социальных выплатах или системе правосудия предвзятость может напрямую влиять на жизнь людей. Именно поэтому Закон ЕС об ИИ устанавливает требования к качеству данных, документации и человеческому контролю для высокорисковых систем.
Способы решения
- Использовать разнообразные, репрезентативные наборы данных.
- Тестировать системы отдельно для разных групп перед выпуском и публиковать результаты.
- Проектировать аудируемые системы, способные объяснять, как принимаются решения.
- Оставлять решающее слово по важным вопросам за человеком и предоставлять возможность обжалования.
- Включать в команды разработки представителей разных точек зрения.
Советы для пользователей
Критически относитесь к текстам и изображениям, созданным инструментами ИИ; обращайте особое внимание на обобщения о людях, группах и культурах. Когда автоматизированное решение затрагивает вас, узнайте о своём праве спросить, как оно было принято, и оспорить его.
Как измеряется предвзятость? Метрики справедливости
Чтобы понять, предвзята ли модель, нужно сравнить её результаты между группами. Наиболее часто исследователи используют следующие метрики:
- Демографическая паритетность: Проверяет, схож ли уровень положительных решений (например, одобрение кредита) в разных группах.
- Равенство частот ошибок: Частота ложноположительных и ложноотрицательных результатов должна быть близка между группами.
- Калибровка: Когда модель говорит «вероятность 70 процентов», это предсказание должно сбываться примерно в 70 процентах случаев в каждой группе.
Важный момент: исследование Александры Чулдечовой 2017 года показало, что когда у групп разные базовые показатели, калибровка и равенство частот ошибок не могут быть полностью выполнены одновременно. Поэтому «справедливая модель» — это не одно число, а осознанный выбор, сделанный с учётом контекста, и обоснование этого выбора должно быть открыто задокументировано.
Правовая база и стандарты
В отчёте SP 1270, опубликованном в 2022 году, Национальный институт стандартов и технологий США (NIST) разделяет предвзятость ИИ на три основных источника: системный (институциональный и общественный), статистический/вычислительный (происходящий от данных и моделей) и человеческий (происходящий от проектных решений и решений об использовании). В отчёте подчёркивается, что проблему нельзя решить только техническими средствами.
Закон Европейского союза об искусственном интеллекте (Регламент 2024/1689) требует, чтобы в высокорисковых системах, таких как найм или кредитная оценка, обучающие данные проверялись на возможные предвзятости и принимались соответствующие меры для их предотвращения. Для организаций это означает, что тестирование на предвзятость переходит из разряда рекомендуемой практики в разряд юридической обязанности.
Источники и дополнительная литература
- Buolamwini, J. and Gebru, T., “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, FAT* (2018).
- NIST, “Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects”, NISTIR 8280 (2019).
- Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women” (2018).
- European Union, Artificial Intelligence Act (Regulation 2024/1689).
- NIST SP 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)
- EUR-Lex – Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 10
- Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2)
Оставить комментарий
Ваш адрес электронной почты не будет опубликован. Обязательные поля помечены *