Os sistemas de IA podem parecer "máquinas neutras", mas aprendem a partir de dados produzidos por pessoas. Se esses dados contêm desigualdades sociais, sub-representação ou decisões erradas do passado, o sistema aprende-as e, por vezes, amplifica-as. A isto chama-se viés na IA.
De onde vem o viés?
- Dados desequilibrados: Se alguns grupos estão sub-representados nos dados de treino, o sistema funciona pior para eles.
- Refletir o passado: Se as decisões passadas foram discriminatórias, um modelo que as imite produzirá resultados discriminatórios.
- Medição e rotulagem: Definir "sucesso" de forma errada, ou os próprios preconceitos dos rotuladores.
- Contexto de uso: Usar um sistema desenvolvido num país ou grupo num contexto diferente sem o verificar.
Exemplos reais
O estudo "Gender Shades" de 2018, de Joy Buolamwini e Timnit Gebru do MIT, mostrou que sistemas comerciais de classificação de género eram quase isentos de erro para homens de pele mais clara, mas tinham taxas de erro muito mais altas para mulheres de pele mais escura. Testes do Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) em 2019 também encontraram taxas de erro diferentes entre grupos demográficos em muitos algoritmos de reconhecimento facial. Segundo um relatório da Reuters de 2018, a Amazon abandonou uma ferramenta experimental de contratação treinada com CVs passados que prejudicava candidatas mulheres.
Grandes modelos de linguagem e geradores de imagem também podem mostrar viés, como associar profissões a géneros específicos ou retratar algumas culturas de forma estereotipada.
Por que é importante?
O viés numa recomendação de filme é irritante; mas na contratação, pontuação de crédito, cuidados de saúde, benefícios sociais ou no sistema de justiça, o viés pode afetar diretamente a vida das pessoas. É por isso que o Regulamento de IA da UE estabelece requisitos de qualidade de dados, documentação e supervisão humana para sistemas de alto risco.
Formas de o enfrentar
- Usar conjuntos de dados diversos e representativos.
- Testar sistemas separadamente em diferentes grupos antes do lançamento e publicar os resultados.
- Projetar sistemas auditáveis que possam explicar como as decisões são tomadas.
- Deixar a decisão final em assuntos importantes para um humano e oferecer uma forma de recorrer.
- Incluir diferentes perspetivas nas equipas de desenvolvimento.
Dicas para utilizadores
Use textos e imagens produzidos por ferramentas de IA criticamente; esteja atento especialmente a generalizações sobre pessoas, grupos e culturas. Quando uma decisão automatizada o afetar, informe-se sobre o seu direito a perguntar como foi feita e a contestá-la.
Como se mede o viés? Métricas de equidade
Para perceber se um modelo é enviesado, os seus resultados têm de ser comparados entre grupos. As métricas que os investigadores mais usam são estas:
- Paridade demográfica: Verifica se a taxa de decisões positivas (por exemplo, aprovação de empréstimo) é semelhante entre diferentes grupos.
- Taxas de erro iguais: Espera-se que as taxas de falsos positivos e falsos negativos sejam próximas entre grupos.
- Calibração: Quando o modelo diz "70 por cento de probabilidade", essa previsão deve de facto estar certa cerca de 70 por cento das vezes em cada grupo.
Um ponto importante: o estudo de Alexandra Chouldechova de 2017 mostrou que, quando os grupos têm taxas de base diferentes, a calibração e as taxas de erro iguais não podem ser ambas totalmente satisfeitas ao mesmo tempo. É por isso que um "modelo justo" não é um único número, mas uma escolha deliberada feita consoante o contexto, e o raciocínio por trás dessa escolha deve ser escrito abertamente.
Quadro legal e normas
No seu relatório SP 1270 publicado em 2022, o Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) divide o viés de IA em três fontes principais: sistémica (institucional e social), estatística/computacional (proveniente de dados e modelos) e humana (proveniente de decisões de design e uso). O relatório sublinha que o problema não pode ser resolvido apenas com correções técnicas.
O Regulamento de Inteligência Artificial da União Europeia (Regulamento 2024/1689) exige que, em sistemas de alto risco como recrutamento ou avaliação de crédito, os dados de treino sejam examinados quanto a possíveis vieses e que sejam tomadas medidas adequadas para os prevenir. Para as organizações, isto significa que os testes de viés passam de uma boa prática opcional a uma obrigação legal.
Fontes e leitura adicional
- Buolamwini, J. and Gebru, T., "Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification", FAT* (2018).
- NIST, "Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects", NISTIR 8280 (2019).
- Reuters, "Amazon scraps secret AI recruiting tool that showed bias against women" (2018).
- União Europeia, Regulamento de Inteligência Artificial (Regulamento 2024/1689).
- NIST SP 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)
- EUR-Lex – Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 10
- Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2)
Deixe um comentário
Seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *