跳到内容

照亮世界的知识

什么是开放权重 AI 模型?使用 Llama、Mistral、Qwen、DeepSeek 和 Gemma 在自己的电脑上运行 AI

一些 AI 模型仅在公司的服务器上运行,而另一些模型的“权重”则是公开共享的,可以在您自己的电脑上运行。本文将介绍开放权重与开源的区别、知名的模型家族、本地运行工具、硬件需求、优势以及局限性。

什么是开放权重 AI 模型?使用 Llama、Mistral、Qwen、DeepSeek 和 Gemma 在自己的电脑上运行 AI

当您使用 ChatGPT、Gemini 或 Claude 等助手时,您输入的内容会被发送到公司的服务器,并在那里生成答案。与此同时,“开放权重”模型正在迅速普及,这类模型的训练文件任何人都可以下载,并可以在自己的电脑或服务器上运行。

“权重”是什么意思?

语言模型将训练过程中从文本中学到的内容存储在数十亿个数值(参数或“权重”)中。模型文件主要由这些权重组成。对于开放权重模型,该文件是共享的,因此模型可以在没有互联网连接或无需公司服务器的情况下运行。

开放权重等同于开源吗?

并不总是如此。根据开源促进会 (OSI) 在 2024 年发布的《开源 AI 定义》,一个模型要被视为开源,其训练代码和关于训练数据的充分信息也必须共享,且使用不受限制。许多流行的模型仅共享其权重,并附带各自的许可条款,例如要求超过一定用户数量的公司获得额外许可,或限制某些用途。因此,在将其用于商业用途之前,请务必阅读模型的许可协议。

知名的模型家族

  • Llama: 由 Meta 开发,是推广开放权重模型的先驱。
  • Mistral: 来自法国公司 Mistral AI 的模型。
  • Qwen: 阿里巴巴的多语言模型家族。
  • DeepSeek: 来自中国公司 DeepSeek 的模型,尤其以推理和编程能力著称。
  • Gemma: Google 开发的相对较小且高效的开放模型。

这些家族经常发布新版本;请务必查看其官方页面以了解当前状态和许可情况。

如何在电脑上运行它们

Ollama、LM Studio 和 llama.cpp 等免费工具让您只需点击几次或输入一条命令,即可下载并运行开放模型。模型通常使用一种称为“量化”的方法进行压缩,从而减少对内存的需求。小型模型甚至可以在近期的笔记本电脑上运行,而大型模型则需要大量内存和强大的显卡。通常情况下,模型越大,能力越强,对硬件的需求也越高。

优势

  • 隐私性: 数据永远不会离开您的设备,这在处理敏感文件时是一个巨大的优势。
  • 离线使用: 一旦下载,模型就可以在没有网络连接的情况下运行。
  • 定制化: 组织可以针对特定任务使用自己的数据对模型进行微调。
  • 成本控制: 对于高频使用,在自有硬件上运行对某些组织来说可能更具成本可预测性。

局限性与风险

  • 它们需要硬件支持和一定的设置知识。
  • 小型模型比最大的闭源模型更容易出错并产生“幻觉”。
  • 由于安全措施很容易被用户更改,关于滥用的争论仍在继续。
  • 请仅从信任的来源下载模型文件。

许可协议:使用“开放”模型时需要注意什么

能够下载模型的权重并不意味着您可以出于任何目的自由使用它。许可文本才是真正的决定因素,不同家族之间存在重要差异:

  • 宽松许可: 一些模型(如 Mistral 7B)是根据 Apache 2.0 许可发布的,DeepSeek-R1 是根据 MIT 许可发布的。这些许可通常允许商业使用和修改。
  • 社区许可: Meta 的 Llama 模型根据其自身的社区许可进行分发;例如,月活跃用户超过 7 亿的公司必须获得单独的许可,并且需要遵守可接受的使用政策。
  • 使用条款: Google 的 Gemma 模型受单独的使用条款文本和禁止使用列表的约束。
  • 同一家族内的不同许可: 在某些家族(如 Qwen)中,许可可能会随模型大小而变化,因此需要分别阅读每个发布版本的页面。

如果您考虑在产品或服务中使用模型,请检查您下载的具体版本的许可和使用政策;如有疑问,请寻求法律建议。

硬件需求多少才够?内存粗略计算方法

有一个简单的方法可以估算模型需要多少内存:将参数数量乘以每个参数的字节数。在 16 位(2 字节)精度下,一个拥有 70 亿参数的模型仅权重就需要约 14 GB 的内存。通过 4 位量化,同一个模型的内存需求会降至约 4-5 GB,这使得它可以在许多目前的笔记本电脑上运行。

除此之外,还需要额外的内存,其大小随对话长度(上下文缓存)而增加,因此在估算值的基础上留出一些余量是明智的。广泛用于本地运行模型的 llama.cpp 项目及其 GGUF 文件格式,使得即使在没有显卡的电脑上,也可以通过处理器运行量化模型;然而,运行速度会随硬件的不同而有很大差异。

参考资料与延伸阅读

  1. Open Source Initiative (OSI), “The Open Source AI Definition 1.0” (2024).
  2. Meta AI, Llama 许可及可接受使用政策页面。
  3. Hugging Face, 开放模型枢纽及文档。
  4. Ollama 和 LM Studio 官方文档。
  5. Apache Software Foundation – Apache License 2.0
  6. Meta – Llama 3 Community License Agreement
  7. ggml-org – llama.cpp (GitHub) and GGUF documentation
分享
关注 YulaHub第一时间获取当天最重要的新闻。
RSS

发表评论

您的电子邮箱地址不会被公开。必填项已用 * 标注