ИИ-чат-боты могут давать аккуратные, уверенные ответы за секунды. Но некоторые из этих ответов могут содержать несуществующую книгу, цитату, которой никогда не было, или неверную дату. Когда ИИ выдает плавный, но ложный контент, это называется «галлюцинацией». Это одно из самых важных ограничений, которое нужно понимать, используя ИИ как полезный инструмент.
Почему происходит галлюцинация?
Большие языковые модели предсказывают наиболее вероятное следующее слово в предложении, опираясь на паттерны, выученные из огромных объемов текста. Они не ищут информацию в базе данных и не знают по своей природе, правдивы ли их слова. Если модель не видела достаточно согласованных данных по теме, она может выдать ответ, который звучит правдоподобно, вместо того чтобы сказать «Я не знаю». Также стоит помнить, что обучение модели заканчивается определенной датой, поэтому она может не знать недавних событий или выдавать устаревшую информацию как актуальную.
Где это встречается чаще всего?
- Источники и ссылки: Выглядящие реалистично, но несуществующие статьи, книги или веб-адреса.
- Цитаты: Фразы, приписываемые известным людям, которые они никогда не говорили.
- Цифры и даты: Статистика, проценты, даты рождения и смерти.
- Малоизвестные темы: Местные личности, небольшие организации, новые продукты и нишевые области.
- Право, медицина и финансы: Сферы, где неверная информация может иметь серьезные последствия.
Пример из жизни
В деле 2023 года в США адвокаты сослались в своем документе на судебные прецеденты, сгенерированные чат-ботом, которых на самом деле не существовало. Судья установил, что дела были вымышлены, и адвокатов оштрафовали. Этот случай стал одним из самых известных примеров рисков использования вывода ИИ в официальной работе без проверки.
Как защитить себя
- Просите источники и проверяйте их: Перейдите по ссылке и действительно найдите книгу или статью.
- Проверяйте важную информацию в первоисточнике: Опирайтесь на сайты официальных органов, издателей или экспертов.
- Используйте инструменты с поиском в вебе для актуальных тем: Ассистенты, которые ищут в интернете и ссылаются на источники, надежнее для актуальных тем, но они тоже могут ошибаться.
- Спрашивайте об неопределенности: Вопросы вроде «Насколько вы уверены, и какие моменты спорны?» могут выявить слабые места.
- Задавайте тот же вопрос иначе: Будьте осторожны, если ответы противоречат друг другу.
- Консультируйтесь с экспертами по здоровью, праву и деньгам: ИИ может быть полезен для справки, но не заменяет профессиональную консультацию.
Что делают разработчики?
ИИ-компании разрабатывают методы обучения, заставляющие модели признаваться в неуверенности, техники «генерации с дополнением извлечением» (RAG), привязывающие ответы к надежным документам, и функции цитирования. Эти методы снижают количество ошибок, но не устраняют их полностью. Поэтому самый безопасный подход — относиться к ИИ как к партнеру для черновиков и мозговых штурмов, а окончательное решение принимать на основе проверенной информации.
Типы и масштаб галлюцинаций
Галлюцинации в ИИ-моделях не проявляются в единой форме. Их можно классифицировать на отдельные типы, в основном фактические ошибки и логические несоответствия. Фактические ошибки заключаются в том, что модель представляет событие, личность, место или дату, не существующие в реальности. Это происходит потому, что модель неверно комбинирует вероятности для заполнения пробелов в своих знаниях.
Логические галлюцинации обладают более сложной и тонкой структурой. В этих случаях, даже если модель принимает точность предоставленной или известной информации, она может ошибиться в причинно-следственных связях или процессе рассуждения, установленном между этими фрагментами информации. Например, она может прийти к полностью неверному выводу из верных предпосылок или потерять логическую последовательность, продвигаясь шаг за шагом по математической цепочке. Такие ошибки наглядно демонстрируют, что модель не просто хранит информацию, но может иметь изъяны в том, как она обрабатывает и синтезирует эту информацию.
Влияние обучающих данных
Процесс обучения моделей напрямую связан с качеством и разнообразием огромных датасетов, с которыми они сталкиваются. Если обучающие данные содержат высокие концентрации противоречивой информации, ложных убеждений, вводящих в заблуждение новостей или неполных нарративов, модель склонна выучивать и повторять эти ошибочные паттерны. Наличие дезинформации и непроверенного контента в интернете является одним из фундаментальных факторов, затрудняющих моделям различать тонкую грань между реальностью и вымыслом.
Кроме того, неравномерное распределение плотности информации внутри датасетов — значительный фактор, провоцирующий галлюцинации. В то время как модель может давать высокосогласованные и надежные ответы по часто встречающимся и широко признанным темам, ее частота ошибок быстро растет, когда она вынуждена делать предсказания о мало представленных, нишевых или очень недавних темах. Чтобы заполнить пустоту в своих знаниях, модель конструирует нереалистичный, но правдоподобно звучащий нарратив, используя ближайшие доступные ей лингвистические паттерны.
Методы взаимодействия и роль промптов
То, как пользователь общается с ИИ, может напрямую влиять на точность генерируемого ответа. Способ, которым задан вопрос, может выступать катализатором, заставляя модель отклониться в определенном направлении или подтвердить неверную информацию. Это происходит потому, что модели запрограммированы не только генерировать ответ, но и соответствовать ожиданиям пользователя.
- Задавание вводящих в заблуждение или наводящих вопросов.
- Предоставление недостаточного или неполного контекста.
- Просьба о сложном и многошаговом рассуждении.
- Использование неоднозначных или многозначных выражений.
- Выдача чрезмерно строгих инструкций, выталкивающих модель за пределы возможностей.
В этом процессе, также известном как промпт-инжиниринг, ясность и формулировка вопросов являются критическими инструментами для снижения риска галлюцинации. Хорошо структурированный вопрос не дает модели потеряться среди вероятностей и позволяет ей давать ответы на более надежной основе.
Галлюцинации в мультимодальных моделях
Когда ИИ выходит за рамки текста для обработки различных типов данных, таких как изображения, звук и видео, галлюцинации проявляются в разных формах. В визуальных моделях часто можно увидеть объекты, расположенные способами, нарушающими законы физического мира, или добавление несуществующих деталей.
В аудио-моделях можно наблюдать генерацию звуков, не существующих в реальности, или неестественное искажение ритма и интонации речи. В видео-моделях такие феномены, как потеря временной согласованности или изменение формы объектов при переходе от кадра к кадру, доказывают, что модель не полностью понимает физическую реальность.
Подходы к обнаружению и верификации
Различные методы верификации можно применять как на индивидуальном, так и на техническом уровнях для минимизации влияния галлюцинаций. На индивидуальном уровне самым эффективным методом является подтверждение сгенерированной информации через разные и независимые источники. Вместо доверия ответу одной модели, подвергание информации перекрестному допросу значительно снижает погрешность.
На техническом уровне ведутся исследования механизмов, предназначенных для того, чтобы модели могли аудировать свои собственные ответы. Сравнение вывода модели с надежным документом, предоставленным ей, или пропуск модели своим же выводом через логический фильтр могут помочь обнаружить ошибки на ранней стадии.
Теоретические ограничения и структурные вызовы
Полное устранение галлюцинаций ИИ — сложная цель из-за внутренней природы текущих архитектур и принципов работы. Эти модели не являются сознательными существами, способными понимать реальность, а скорее вероятностными машинами, математически следующими лингвистическим паттернам. В этих системах, построенных на принципе предсказания следующего слова или точки данных, всегда существует тонкий и иногда конфликтующий баланс между точностью и креативностью.
Когда целью является повышение креативности и продуктивности, вероятность того, что модель выдаст более неожиданные, оригинальные и удивительные ответы, растет, но это также несет риск ухода от реальности. Это структурное противоречие остается одной из самых фундаментальных научных, технических и философских проблем, подлежащих решению в будущем развитии ИИ. Внутренняя неопределенность системы служит напоминанием всегда оставаться осторожным, используя ИИ как вспомогательный инструмент.
Часто задаваемые вопросы
Галлюцинация случается только в текстогенерирующем ИИ?
Нет. Модели генерации изображений также могут добавлять деталей, которых нет, например, рук с лишними пальцами или бессмысленный текст. Похожие ошибки могут появляться в аудио- и видео-моделях.
Источники и дополнительное чтение
- Mata v. Avianca, Inc., U.S. District Court for the Southern District of New York, sanctions order of 22 June 2023.
- NIST, “Artificial Intelligence Risk Management Framework: Generative AI Profile” (NIST AI 600-1), 2024.
- Ziwei Ji et al., “Survey of Hallucination in Natural Language Generation”, ACM Computing Surveys, 2023.
Оставить комментарий
Ваш адрес электронной почты не будет опубликован. Обязательные поля помечены *