“生成式人工智能”(Generative AI)是能够生成新文本、图像、音频或代码的AI系统的统称。从2022年底开始,通过聊天助手和图像生成器,这些系统走进了数百万人的日常生活。但是,一个计算机程序究竟是如何写出一篇文章或画出一幅从未存在过的风景画的呢?
大语言模型
文本生成系统建立在“大语言模型”之上。它们依赖于一种名为“Transformer”的神经网络架构,该架构由谷歌研究人员在2017年的一篇论文中提出。该模型在海量的书面数据(网络文本、书籍和代码)上进行训练。训练任务出奇地简单:观察一段文本并预测下一部分——即所谓的“词元”(token,单词或单词的一部分)。通过在数十亿个示例中尝试这种预测,模型学习到了语言的结构、概念之间的关系以及作为统计模式的大量知识。
成为聊天助手
刚完成预训练的模型知道如何续写文本,但并不总是理解用户的需求。因此,在第二阶段,它会通过问答示例进行微调,并结合人类反馈——由人类判断哪些回答更有帮助、更准确、更安全。这样,模型就变成了一个能够听从指令、进行对话,并且在处理有害请求时更加谨慎的助手。
图像生成
大多数文本转图像工具使用“扩散模型”。在训练过程中,这些模型学习如何一步步向图像添加噪声,然后学习如何去除这些噪声。在使用时,它们从随机噪声开始,并以符合用户描述的方式一步步去除噪声,从而创建出一幅新图像。
局限与风险
- 幻觉:语言模型产生的是“可能的”内容,而不是“真实的”内容。因此,它们有时会产生完全令人信服但却是错误的信息、不存在的来源或引语。
- 时效性:模型的知识仅限于其训练数据收集的时间;一些工具通过网络搜索来弥补这一差距。
- 偏见:训练数据中的偏见可能会反映在模型的回答中。
- 隐私:在分享个人、财务或机密商业信息之前,请检查工具的数据政策。
- 版权与原创性:关于训练数据和生成内容的权利,法律界仍在进行辩论。
明智地使用
生成式人工智能是起草、头脑风暴、总结长文、以不同方式解释主题以及编写代码的强大助手。但在健康、法律和金融等重要事项上,请务必通过可靠的来源和专家核实信息,并由您自己做出最终决定并承担责任。
常见术语:简短词汇表
- 提示词(Prompt):给模型的指令或问题。提示词越清晰、背景越丰富,结果就越准确。
- 上下文窗口(Context window):模型一次能“看到”的文本量。如果对话超过此限制,最旧的部分可能不再被考虑在内。
- 温度(Temperature):回答随机性的设置。低值会产生更一致和可重复的结果,高值则会产生更多样化和创造性的结果。
- 微调(Fine-tuning):使用额外数据对预训练模型进行针对特定任务或领域的进一步训练。
- 多模态(Multimodal):除了文本之外,还能理解和生成图像、音频或视频等不同类型数据的模型。
如何提高准确性?检索增强生成(RAG)
语言模型“记住”的是训练数据中的信息,因此对于过时或从未见过的主题,它们可能会给出编造的答案。减少这一问题的一种常用方法是“检索增强生成”(RAG),由Lewis及其同事在2020年提出。在这种方法中,系统首先从可信的文档集合中搜索与问题相关的段落,然后要求模型仅根据这些段落进行回答。
RAG使得展示答案基于哪份文档变得更容易,并使处理模型从未见过的信息(如公司内部文档)成为可能。然而,它并不能完全解决问题:如果搜索返回了错误的文档,或者模型误读了文档,仍然可能发生错误。因此,美国国家标准与技术研究院(NIST)的2024年生成式人工智能风险概况中,也列出了建议对输出结果进行人工核实的做法。
常见问题解答
AI真的“理解”吗?
这在科学家和哲学家之间仍有争论。模型可以非常出色地使用复杂的语言模式,但对于它们是否具备类似人类的理解能力,目前尚无共识。
来源与延伸阅读
- Ashish Vaswani et al., “Attention Is All You Need” (2017).
- Jonathan Ho et al., “Denoising Diffusion Probabilistic Models” (2020).
- OECD AI Principles; UNESCO Recommendation on the Ethics of Artificial Intelligence (2021).
- Lewis P. et al. – Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS (2020)
- NIST AI 600-1 – Generative Artificial Intelligence Profile (2024)
发表评论
您的电子邮箱地址不会被公开。必填项已用 * 标注