早期的AI聊天助手是针对某个问题生成单一答案的工具。新一代被称为“智能体(Agents)”的系统在给定目标时,能够规划达成目标所需的步骤,使用诸如搜索网络、读写文件、运行代码或浏览网站等工具,并检查结果,必要时进行重试。
它们是如何工作的?
智能体通常在一个循环中工作:它理解任务、制定计划、使用工具(例如运行搜索或打开文件)、评估结果并决定下一步。该循环持续进行,直到任务完成或需要用户的批准。智能体能做什么取决于它被授予了哪些工具和数据访问权限。
应用示例
- 研究:扫描数十个来源并准备带引用的报告。
- 办公室工作:将电子邮件中的信息收集到表格中,安排会议。
- 软件:在代码库中查找并修复错误、编写测试。
- 个人任务:比较旅行选项、填写表格(关键步骤如付款需经批准)。
风险
- 错误操作:智能体可能会误解指令并发送不需要的电子邮件或删除文件。
- 提示词注入:隐藏在网页或文档中的恶意指令可能会试图操纵智能体。这是针对智能体最具争议的安全问题之一。
- 权限过大:对银行账户或公司系统等敏感区域的广泛访问带来了严重危害的风险。
- 问责制:用户或组织最终对智能体采取的行动负责。
安全使用原则
- 仅授予智能体任务所需的最低权限。
- 设置其在进行转账、购买、发送电子邮件和删除等不可逆步骤之前请求批准。
- 审查智能体所采取操作的日志记录。
- 在允许智能体处理来自未知来源的文档和网站时要小心。
AI智能体与经典自动化的区别
多年来在工作场所使用的经典自动化工具根据预先编写的规则工作,例如“如果此文件夹中收到发票,则将金额写入电子表格。”当遇到规则之外的情况时,它们通常会停止。相比之下,AI智能体接收自然语言中的目标,自己规划步骤,并且在发生意外情况时可以尝试不同的路线。
- 灵活性:智能体可以尝试理解格式已更改的文档;基于规则的工具则不能。
- 可预测性:经典自动化每次都给出相同的结果;智能体的行为会随输入而变化,并且可能会犯错。
- 监督:这就是为什么对于智能体而言,记录每一步以及对重要操作要求人工批准甚至更加重要。
使用智能体之前要问的问题
安全社群OWASP在其大型语言模型应用最重要风险列表中纳入了“过度代理(excessive agency)”:如果赋予智能体的权限超出必要范围,被误解的指令或恶意内容可能会造成真正的损害。
这就是为什么在开始使用智能体之前最好询问以下问题:它可以访问哪些账户和文件?转账、删除或发送电子邮件等不可逆操作是否需要我的批准?事后我能看到它采取的每一步吗?美国国家标准与技术研究院(NIST)的AI风险管理框架同样建议持续监控AI系统的影响并明确界定责任。
AI工具的功能、计划和价格经常变化。请务必查看该工具的官方页面以获取最新信息。
常见问题解答
智能体和聊天助手有什么区别?
聊天助手主要生成答案;智能体则通过使用工具朝着目标采取行动。由于许多助手现在都包含智能体功能,它们之间的界限日益模糊。
来源与延伸阅读
- OWASP,“Top 10 for LLM Applications”(提示词注入和过度代理)。
- NIST,“AI Risk Management Framework: Generative AI Profile”(NIST AI 600-1),2024年。
- Shunyu Yao et al., “ReAct: Synergizing Reasoning and Acting in Language Models”, ICLR, 2023.
- OWASP – Top 10 for LLM Applications 2025 (Excessive Agency)
- NIST – AI Risk Management Framework (AI RMF 1.0), 2023
发表评论
您的电子邮箱地址不会被公开。必填项已用 * 标注