人工智能系统看起来像是“中立的机器”,但它们是从人类产生的数据中学习的。如果这些数据包含社会不平等、代表性不足或过去的错误决策,系统就会学习并有时会放大这些问题。这就是所谓的“人工智能偏见”。
偏见从何而来?
- 数据不平衡:如果某些群体在训练数据中的代表性不足,系统对这些群体的表现就会较差。
- 反映过去:如果过去的决策具有歧视性,那么模仿这些决策的模型也会产生歧视性的结果。
- 测量与标注:对“成功”的定义错误,或者标注者自身的偏见。
- 使用场景:在未经过测试的情况下,将在一个国家或群体中开发出的系统应用于不同的环境。
真实案例
由麻省理工学院(MIT)的 Joy Buolamwini 和 Timnit Gebru 在 2018 年进行的“Gender Shades”研究表明,商业性别分类系统对浅肤色男性的识别几乎没有错误,但对深肤色女性的错误率要高得多。美国国家标准与技术研究院(NIST)在 2019 年进行的测试也发现,许多人脸识别算法在不同人口统计群体之间的错误率存在差异。根据路透社 2018 年的一份报告,亚马逊废弃了一款基于过去简历训练的实验性招聘工具,因为该工具对女性候选人存在歧视。
大型语言模型和图像生成器也可能表现出偏见,例如将特定职业与特定性别挂钩,或以刻板印象的方式描绘某些文化。
为什么这很重要?
电影推荐中的偏见可能只是令人烦恼;但在招聘、信用评分、医疗保健、社会福利或司法系统中,偏见会直接影响人们的生活。这就是为什么欧盟《人工智能法案》对高风险系统提出了数据质量、文档记录和人工监督的要求。
应对方法
- 使用多样化、具有代表性的数据集。
- 在发布前针对不同群体分别测试系统,并公布结果。
- 设计可审计的系统,能够解释决策是如何做出的。
- 将重要决策的最终决定权交给人类,并提供申诉渠道。
- 在开发团队中纳入不同的视角。
给用户的建议
批判性地使用人工智能工具生成的文本和图像;特别要留意针对人、群体和文化的概括性描述。当自动化决策影响到你时,请了解你是否有权询问决策是如何做出的,并有权对其提出质疑。
如何衡量偏见?公平性指标
为了了解一个模型是否存在偏见,必须跨群体比较其结果。研究人员最常使用的指标包括:
- 人口统计学平价(Demographic parity):检查不同群体的正面决策率(例如贷款审批率)是否相似。
- 错误率相等(Equal error rates):各群体之间的假阳性率和假阴性率应趋于接近。
- 校准度(Calibration):当模型说“70% 的概率”时,该预测在每个群体中实际正确的频率都应接近 70%。
一个重要的观点:Alexandra Chouldechova 在 2017 年的研究表明,当不同群体的基础率(base rates)不同时,校准度和错误率相等无法同时完全满足。这就是为什么“公平模型”不是一个单一的数字,而是根据具体情况做出的审慎选择,并且这种选择背后的逻辑应当公开记录。
法律框架与标准
美国国家标准与技术研究院(NIST)在其 2022 年发布的 SP 1270 报告中,将人工智能偏见分为三个主要来源:系统性(制度与社会)、统计/计算(源自数据与模型)以及人为(源自设计与使用决策)。报告强调,仅靠技术手段无法解决这一问题。
欧盟的《人工智能法案》(Regulation 2024/1689)要求,在招聘或信用评估等高风险系统中,必须检查训练数据是否存在潜在偏见,并采取适当措施予以预防。对于组织而言,这意味着偏见测试已从一种可选的良好实践转变为一项法律义务。
来源与延伸阅读
- Buolamwini, J. and Gebru, T., “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, FAT* (2018).
- NIST, “Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects”, NISTIR 8280 (2019).
- Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women” (2018).
- European Union, Artificial Intelligence Act (Regulation 2024/1689).
- NIST SP 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)
- EUR-Lex – Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 10
- Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2)
发表评论
您的电子邮箱地址不会被公开。必填项已用 * 标注