AI聊天机器人可以在几秒钟内给出简洁、自信的回答。但其中一些回答可能包含并不存在的书籍、从未说过的话或错误的日期。当AI产生这种流利但错误的信息时,就被称为“幻觉”。在将AI作为实用工具时,这是最需要了解的局限性之一。
为什么会发生幻觉?
大型语言模型根据从海量文本中学习到的模式,预测句子中的下一个最可能的词。它们不会在数据库中查找信息,也并非生来就知道自己说的话是否真实。如果模型在某个主题上没有看到足够一致的数据,它可能会产生听起来正确的回答,而不是说“我不知道”。同样值得记住的是,模型的训练在某个日期截止,因此它可能不知道最近发生的事件,或者可能将旧信息当作当前信息呈现。
在哪里最常见?
- 来源和参考资料:看似真实但并不存在的文章、书籍或网址。
- 引言:归功于名人但他们从未说过的话。
- 数字和日期:统计数据、百分比、出生和死亡日期。
- 冷门话题:当地人物、小型组织、新产品和小众领域。
- 法律、医学和金融:错误信息可能产生严重后果的领域。
现实生活中的一个例子
在2023年美国的一起案件中,律师在提交的文件中引用了聊天机器人生成的并不存在的法庭判决作为先例。法官发现这些案件是虚构的,并对律师进行了罚款。这一事件成为在官方工作中不经核查就使用AI输出结果的风险的最著名例子之一。
如何保护自己
- 索取来源并进行核查:点击链接并亲自查阅书籍或文章。
- 在第一手资料处核实重要信息:依赖官方机构、出版商或专家的页面。
- 对当前话题使用基于搜索的工具:在当前话题上,会搜索网络并引用来源的助手更可靠,但它们也可能会犯错。
- 询问不确定性:诸如“你有几成把握,哪些部分存在争议?”之类的问题可以揭示薄弱环节。
- 用不同的方式问同一个问题:如果回答相互矛盾,请务必小心。
- 就健康、法律和资金问题咨询专家:AI可以提供背景信息,但不能替代专业建议。
开发人员在做什么?
AI公司正在开发鼓励模型在不确定时说明情况的训练方法、将回答建立在可靠文档基础上的“检索增强生成”(RAG)技术,以及引用功能。这些方法减少了错误,但并未消除错误。因此,最安全的方法是将AI视为起草和头脑风暴的伙伴,将最终决定权交给经过核实的信息。
常见问题解答
幻觉只发生在生成文本的AI中吗?
不是。生成图像的模型也可能会添加原本没有的细节,例如多出手指的手或无意义的文字。类似的错误也可能出现在音频和视频模型中。
来源与延伸阅读
- Mata v. Avianca, Inc., U.S. District Court for the Southern District of New York, sanctions order of 22 June 2023.
- NIST, “Artificial Intelligence Risk Management Framework: Generative AI Profile” (NIST AI 600-1), 2024.
- Ziwei Ji et al., “Survey of Hallucination in Natural Language Generation”, ACM Computing Surveys, 2023.
发表评论
您的电子邮箱地址不会被公开。必填项已用 * 标注