Перейти к содержанию

Знания, освещающие мир

Что такое модели ИИ с открытыми весами? Запуск ИИ на собственном компьютере с Llama, Mistral, Qwen, DeepSeek и Gemma

Некоторые модели ИИ работают только на серверах компаний, в то время как у других «веса» опубликованы и их можно запускать на собственном компьютере. Разница между открытыми весами и открытым исходным кодом, известные семейства моделей, инструменты для локального запуска, аппаратные требования, преимущества и ограничения.

Что такое модели ИИ с открытыми весами? Запуск ИИ на собственном компьютере с Llama, Mistral, Qwen, DeepSeek и Gemma

Когда вы пользуетесь ассистентами вроде ChatGPT, Gemini или Claude, введённый вами текст отправляется на серверы компании, и ответ формируется там. Наряду с ними быстро распространяются модели с «открытыми весами», чьи обученные файлы может скачать кто угодно и запустить на своём компьютере или сервере.

Что означает «веса»?

Языковая модель хранит то, чему научилась на текстах в процессе обучения, в миллиардах числовых значений (параметров, или «весов»). Файл модели состоит в основном из этих весов. При открытых весах этот файл доступен, поэтому модель может работать без интернет-соединения и серверов компании.

Являются ли открытые веса открытым исходным кодом?

Не всегда. Согласно «Определению открытого ИИ», опубликованному Open Source Initiative (OSI) в 2024 году, чтобы модель считалась открытым исходным кодом, должны быть также опубликованы код обучения и достаточная информация об обучающих данных, а использование не должно быть ограничено. Многие популярные модели делятся только весами и имеют свои лицензионные условия, например, требуют дополнительного разрешения для компаний выше определённого числа пользователей или запрещают отдельные виды использования. Поэтому перед коммерческим использованием внимательно изучите лицензию модели.

Известные семейства моделей

  • Llama: Разработана Meta, пионер в популяризации моделей с открытыми весами.
  • Mistral: Модели французской компании Mistral AI.
  • Qwen: Многоязычное семейство моделей Alibaba.
  • DeepSeek: Модели китайской компании DeepSeek, особенно известные своими способностями к рассуждению и программированию.
  • Gemma: Относительно компактные и эффективные открытые модели Google.

Эти семейства часто выпускают новые версии; всегда проверяйте их официальные страницы для получения актуального состояния и лицензий.

Как запустить их на компьютере

Бесплатные инструменты вроде Ollama, LM Studio и llama.cpp позволяют скачивать и запускать открытые модели за несколько кликов или одной командой. Обычно модели сжимают методом, называемым «квантование», чтобы они требовали меньше памяти. Малые модели могут работать даже на современном ноутбуке, тогда как большие модели нуждаются в большом объёме памяти и мощной видеокарте. Как правило, чем больше модель, тем способнее она и тем больше оборудования требует.

Преимущества

  • Конфиденциальность: Данные никогда не покидают ваше устройство — большой плюс при работе с конфиденциальными документами.
  • Автономная работа: После скачивания модель может работать без подключения к сети.
  • Настройка: Организации могут дообучать модель на своих данных для конкретных задач.
  • Контроль затрат: При интенсивном использовании запуск на собственном оборудовании может быть более предсказуемым для некоторых организаций.

Ограничения и риски

  • Требуют оборудования и некоторых знаний для настройки.
  • Малые модели могут ошибаться и галлюцинировать чаще, чем крупнейшие закрытые модели.
  • Так как меры безопасности легко меняются пользователями, споры о злоупотреблении продолжаются.
  • Скачивайте файлы моделей только из доверенных источников.

Лицензии: на что обратить внимание у «открытых» моделей

Возможность скачать веса модели не означает, что её можно свободно использовать для любых целей. Решающий фактор — текст лицензии, и между семействами есть важные различия:

  • Допустительные лицензии: Некоторые модели, например Mistral 7B, выпущены под лицензией Apache 2.0, а DeepSeek-R1 — под лицензией MIT. Эти лицензии обычно разрешают коммерческое использование и модификацию.
  • Сообщественные лицензии: Модели Llama от Meta распространяются под собственной лицензией сообщества; например, компании с более чем 700 миллионами ежемесячно активных пользователей должны получить отдельную лицензию, и ожидается соблюдение политики допустимого использования.
  • Условия использования: Модели Gemma от Google регулируются отдельным текстом условий использования и списком запрещённых вариантов использования.
  • Разные лицензии внутри одного семейства: В некоторых семействах, например Qwen, лицензия может меняться в зависимости от размера модели, поэтому страницу каждого релиза нужно читать отдельно.

Если вы планируете использовать модель в продукте или сервисе, проверьте лицензию и политику использования для точной скачанной версии; при сомнениях обратитесь за юридической консультацией.

Какого оборудования достаточно? Приблизительный расчёт памяти

Существует простой способ оценить, сколько памяти нужно модели: умножьте число параметров на число байт на параметр. При 16-битной (2-байтовой) точности модель с 7 миллиардами параметров требует около 14 ГБ памяти только для весов. С 4-битным квантованием та же модель сокращается примерно до 4–5 ГБ, что делает её запускаемой на многих современных ноутбуках.

Сверху добавляется дополнительная память, растущая с длиной диалога (кэш контекста), поэтому разумно оставить запас сверх расчёта. Проект llama.cpp, широко используемый для локального запуска моделей, и его формат файлов GGUF позволяют запускать квантованные модели на процессоре даже на компьютерах без видеокарты; скорость, однако, сильно варьируется в зависимости от оборудования.

Источники и дополнительное чтение

  1. Open Source Initiative (OSI), «The Open Source AI Definition 1.0» (2024).
  2. Meta AI, страницы лицензии Llama и политики допустимого использования.
  3. Hugging Face, хаб открытых моделей и документация.
  4. Официальная документация Ollama и LM Studio.
  5. Apache Software Foundation – Apache License 2.0
  6. Meta – Llama 3 Community License Agreement
  7. ggml-org – llama.cpp (GitHub) и документация GGUF
Поделиться
Подписывайтесь на YulaHubУзнавайте главные новости дня первыми.
RSS

Оставить комментарий

Ваш адрес электронной почты не будет опубликован. Обязательные поля помечены *