当您使用 ChatGPT、Gemini 或 Claude 等助手时,您输入的内容会被发送到公司的服务器,并在那里生成答案。与此同时,“开放权重”模型正在迅速普及,这类模型的训练文件任何人都可以下载,并可以在自己的电脑或服务器上运行。
“权重”是什么意思?
语言模型将训练过程中从文本中学到的内容存储在数十亿个数值(参数或“权重”)中。模型文件主要由这些权重组成。对于开放权重模型,该文件是共享的,因此模型可以在没有互联网连接或无需公司服务器的情况下运行。
开放权重等同于开源吗?
并不总是如此。根据开源促进会 (OSI) 在 2024 年发布的《开源 AI 定义》,一个模型要被视为开源,其训练代码和关于训练数据的充分信息也必须共享,且使用不受限制。许多流行的模型仅共享其权重,并附带各自的许可条款,例如要求超过一定用户数量的公司获得额外许可,或限制某些用途。因此,在将其用于商业用途之前,请务必阅读模型的许可协议。
知名的模型家族
- Llama: 由 Meta 开发,是推广开放权重模型的先驱。
- Mistral: 来自法国公司 Mistral AI 的模型。
- Qwen: 阿里巴巴的多语言模型家族。
- DeepSeek: 来自中国公司 DeepSeek 的模型,尤其以推理和编程能力著称。
- Gemma: Google 开发的相对较小且高效的开放模型。
这些家族经常发布新版本;请务必查看其官方页面以了解当前状态和许可情况。
如何在电脑上运行它们
Ollama、LM Studio 和 llama.cpp 等免费工具让您只需点击几次或输入一条命令,即可下载并运行开放模型。模型通常使用一种称为“量化”的方法进行压缩,从而减少对内存的需求。小型模型甚至可以在近期的笔记本电脑上运行,而大型模型则需要大量内存和强大的显卡。通常情况下,模型越大,能力越强,对硬件的需求也越高。
优势
- 隐私性: 数据永远不会离开您的设备,这在处理敏感文件时是一个巨大的优势。
- 离线使用: 一旦下载,模型就可以在没有网络连接的情况下运行。
- 定制化: 组织可以针对特定任务使用自己的数据对模型进行微调。
- 成本控制: 对于高频使用,在自有硬件上运行对某些组织来说可能更具成本可预测性。
局限性与风险
- 它们需要硬件支持和一定的设置知识。
- 小型模型比最大的闭源模型更容易出错并产生“幻觉”。
- 由于安全措施很容易被用户更改,关于滥用的争论仍在继续。
- 请仅从信任的来源下载模型文件。
许可协议:使用“开放”模型时需要注意什么
能够下载模型的权重并不意味着您可以出于任何目的自由使用它。许可文本才是真正的决定因素,不同家族之间存在重要差异:
- 宽松许可: 一些模型(如 Mistral 7B)是根据 Apache 2.0 许可发布的,DeepSeek-R1 是根据 MIT 许可发布的。这些许可通常允许商业使用和修改。
- 社区许可: Meta 的 Llama 模型根据其自身的社区许可进行分发;例如,月活跃用户超过 7 亿的公司必须获得单独的许可,并且需要遵守可接受的使用政策。
- 使用条款: Google 的 Gemma 模型受单独的使用条款文本和禁止使用列表的约束。
- 同一家族内的不同许可: 在某些家族(如 Qwen)中,许可可能会随模型大小而变化,因此需要分别阅读每个发布版本的页面。
如果您考虑在产品或服务中使用模型,请检查您下载的具体版本的许可和使用政策;如有疑问,请寻求法律建议。
硬件需求多少才够?内存粗略计算方法
有一个简单的方法可以估算模型需要多少内存:将参数数量乘以每个参数的字节数。在 16 位(2 字节)精度下,一个拥有 70 亿参数的模型仅权重就需要约 14 GB 的内存。通过 4 位量化,同一个模型的内存需求会降至约 4-5 GB,这使得它可以在许多目前的笔记本电脑上运行。
除此之外,还需要额外的内存,其大小随对话长度(上下文缓存)而增加,因此在估算值的基础上留出一些余量是明智的。广泛用于本地运行模型的 llama.cpp 项目及其 GGUF 文件格式,使得即使在没有显卡的电脑上,也可以通过处理器运行量化模型;然而,运行速度会随硬件的不同而有很大差异。
参考资料与延伸阅读
- Open Source Initiative (OSI), “The Open Source AI Definition 1.0” (2024).
- Meta AI, Llama 许可及可接受使用政策页面。
- Hugging Face, 开放模型枢纽及文档。
- Ollama 和 LM Studio 官方文档。
- Apache Software Foundation – Apache License 2.0
- Meta – Llama 3 Community License Agreement
- ggml-org – llama.cpp (GitHub) and GGUF documentation
发表评论
您的电子邮箱地址不会被公开。必填项已用 * 标注