«Генеративный ИИ» — это общее название для систем искусственного интеллекта, способных создавать новый текст, изображения, аудио или программный код. Начиная с конца 2022 года, благодаря чат-ассистентам и генераторам изображений, эти системы вошли в повседневную жизнь миллионов людей. Но как компьютерная программа может написать статью или нарисовать пейзаж, которого никогда не существовало?
Большие языковые модели
Системы генерации текста построены на базе «больших языковых моделей». Они опираются на архитектуру нейронных сетей под названием «трансформер», представленную в 2017 году исследователями Google. Модель обучается на колоссальных объемах письменных данных — текстах из интернета, книгах и программном коде. Задача обучения удивительно проста: увидеть фрагмент текста и предсказать следующий фрагмент — слово или часть слова, называемую «токеном». Пытаясь выполнить это предсказание на миллиардах примеров, модель изучает структуру языка, взаимосвязи между понятиями и огромный массив знаний в виде статистических закономерностей.
Как модель становится чат-ассистентом
Модель, только что прошедшая предварительное обучение, умеет продолжать текст, но не всегда понимает, чего хочет пользователь. Поэтому на втором этапе ее дообучают (fine-tuning) на примерах вопросов и ответов, а также с использованием обратной связи, где люди оценивают, какие ответы являются более полезными, точными и безопасными. Таким образом, модель превращается в ассистента, который следует инструкциям, может поддерживать беседу и более осторожен в отношении вредоносных запросов.
Генерация изображений
Большинство инструментов для преобразования текста в изображение используют «диффузионные модели». В процессе обучения эти модели учатся тому, как шаг за шагом добавлять шум к изображениям, а затем — как его удалять. При использовании они начинают со случайного шума и постепенно удаляют его таким образом, чтобы результат соответствовал описанию пользователя, создавая новое изображение.
Ограничения и риски
- Галлюцинации: Языковые модели создают то, что «вероятно», а не то, что «истинно». Поэтому они иногда могут выдавать совершенно убедительную, но ложную информацию, несуществующие источники или цитаты.
- Актуальность: Знания модели ограничены моментом сбора данных для ее обучения; некоторые инструменты восполняют этот пробел поиском в интернете.
- Предвзятость: Предвзятость, содержащаяся в обучающих данных, может отражаться в ответах модели.
- Конфиденциальность: Проверяйте политику обработки данных инструмента, прежде чем делиться личной, финансовой или конфиденциальной деловой информацией.
- Авторское право и оригинальность: Юридические споры о правах на обучающие данные и созданный контент продолжаются.
Разумное использование
Генеративный ИИ — мощный помощник для составления черновиков, мозгового штурма, резюмирования длинных текстов, объяснения темы разными способами и написания кода. Однако в важных вопросах, таких как здоровье, право и финансы, всегда проверяйте информацию по надежным источникам и у экспертов, а окончательное решение и ответственность оставляйте за собой.
Часто встречающиеся термины: краткий глоссарий
- Промпт (Prompt): Инструкция или вопрос, заданный модели. Чем четче и контекстуальнее промпт, тем точнее результат.
- Контекстное окно: Объем текста, который модель может «видеть» одновременно. Если диалог превышает этот лимит, самые старые части могут перестать учитываться.
- Температура: Настройка случайности в ответах. Низкое значение дает более последовательные и повторяемые результаты, высокое — более разнообразные и творческие.
- Дообучение (Fine-tuning): Дальнейшее обучение предварительно обученной модели на дополнительных данных для конкретной задачи или области.
- Мультимодальность: Модели, которые могут понимать и генерировать различные типы данных, такие как изображения, аудио или видео, наряду с текстом.
Как можно повысить точность? Генерация с дополнением (RAG)
Языковые модели «помнят» информацию из своих обучающих данных, поэтому по темам, которые устарели или с которыми они никогда не сталкивались, они могут давать вымышленные ответы. Распространенным методом решения этой проблемы является «генерация с дополнением» (Retrieval-Augmented Generation, RAG), описанная Льюисом и коллегами в 2020 году. В этом подходе система сначала ищет в доверенной коллекции документов отрывки, относящиеся к вопросу, а затем просит модель ответить, основываясь только на этих отрывках.
RAG упрощает задачу демонстрации того, на каком документе основан ответ, и позволяет работать с информацией, которую модель никогда не видела, например, с внутренними документами компании. Однако это не решает проблему полностью: если поиск выдаст неверный документ или модель его неправильно истолкует, ошибки все равно могут возникнуть. По этой причине в профиле рисков генеративного ИИ 2024 года от Национального института стандартов и технологий США (NIST) также содержатся рекомендации по проверке результатов человеком.
Часто задаваемые вопросы
Действительно ли ИИ «понимает»?
Это все еще предмет споров среди ученых и философов. Модели могут удивительно хорошо использовать сложные языковые паттерны, но нет единого мнения о том, обладают ли они чем-то похожим на человеческое понимание.
Источники и дополнительная литература
- Ashish Vaswani et al., “Attention Is All You Need” (2017).
- Jonathan Ho et al., “Denoising Diffusion Probabilistic Models” (2020).
- Принципы ИИ ОЭСР; Рекомендация ЮНЕСКО об этике искусственного интеллекта (2021).
- Lewis P. et al. – Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS (2020)
- NIST AI 600-1 – Generative Artificial Intelligence Profile (2024)
Оставить комментарий
Ваш адрес электронной почты не будет опубликован. Обязательные поля помечены *