В традиционном программном обеспечении мы пошагово указываем компьютеру, что делать, с помощью правил. В машинном обучении мы даём компьютеру множество примеров и позволяем ему самому выработать правила. Машинное обучение — самая широко используемая ветвь искусственного интеллекта сегодня.
Простой пример: спам-фильтр
Написать все правила, решающие, является ли электронное письмо спамом, практически невозможно. Вместо этого системе показывают тысячи писем с метками «спам» или «нормальное». Модель учит закономерности в этих примерах и становится способной классифицировать новые письма, которых она никогда не видела.
Три основных типа обучения
- Обучение с учителем: Модель обучается на примерах с известными правильными ответами. Прогнозирование цен на жилье, распознавание объектов на изображениях и обнаружение спама — примеры.
- Обучение без учителя: Модель обнаруживает скрытые группы и структуры в немаркированных данных, например, группирует покупателей по схожему поведению при покупках.
- Обучение с подкреплением: Модель учит наилучшей стратегии методом проб и ошибок, руководствуясь наградами и штрафами. Игровые ИИ и некоторые робототехнические приложения используют этот метод.
Глубокое обучение и нейронные сети
Глубокое обучение — подход к машинному обучению, вдохновлённый работой мозга, использующий многослойные «искусственные нейронные сети». Благодаря большим данным и мощным процессорам оно обеспечило крупные прорывы в распознавании речи, обработке изображений, переводе и текстогенерирующих чат-ассистентах.
Примеры из повседневной жизни
- Рекомендации на видео- и музыкальных платформах
- Разблокировка по лицу на телефонах и автоматическая группировка в фото-галереях
- Обнаружение банками подозрительных транзакций
- Прогнозы пробок в картографических приложениях
- Автоматический перевод и голосовые ассистенты
Ограничения и риски
- Качество данных: Модель настолько хороша, насколько хороши данные, на которых она обучена. Неполные или неверные данные приводят к неверным результатам.
- Предвзятость: Социальные предвзятости в обучающих данных могут отражаться в модели, поэтому создание справедливых, прозрачных систем — важная область исследований.
- Объяснимость: Бывает трудно понять, как некоторые сложные модели приходят к решению.
- Конфиденциальность: Использование персональных данных при обучении требует юридической и этической осторожности.
Как модель обучается и тестируется?
В проектах машинного обучения данные обычно делят на три части. Это разделение — базовый способ узнать, действительно ли модель чему-то научилась:
- Обучающие данные: Основной набор данных, из которого модель учит закономерности; сюда попадает наибольшая доля данных.
- Валидационные данные: Используются во время обучения для подбора настроек модели и сравнения разных попыток.
- Тестовые данные: Используются один раз в самом конце, чтобы измерить, насколько хорошо модель работает на данных, которых она никогда не видела.
Когда данных мало, метод «перекрёстной проверки» разбивает данные на несколько частей и по очереди использует каждую для тестирования, чтобы результат не зависел от одного удачного разбиения.
Переобучение: модель, которая запоминает
Одна из самых частых проблем в машинном обучении — «переобучение». В этом случае модель запоминает не только общие правила в обучающих данных, но и их случайные детали и шум. В результате она выглядит почти идеально на обучающих данных, но её качество заметно падает на новых данных. Это как студент, который заучивает вопросы прошлых лет, не понимая предмет, а потом теряется на новом вопросе. Сбор большего количества и более разнообразных данных, не усложнение модели без необходимости и остановка обучения, когда качество на валидационных данных начинает падать — распространённые способы снизить переобучение.
Предварительная обработка данных
Предварительная обработка данных — процесс приведения исходных данных в форму, пригодную для анализа и обработки моделью. Данные, собранные в реальном мире, часто зашумлены, содержат некорректные записи, пропущенные значения или несовместимые форматы. Если такие данные подать в модель без очистки, система может выучить неверные закономерности, что приведёт к ошибочным результатам. Поэтому очистка данных — одна из самых трудоёмких, но критических стадий процесса машинного обучения.
В этом процессе пропущенные данные заполняются определёнными методами или удаляются полностью. Кроме того, применяются процедуры нормализации, чтобы переменные с разными масштабами не подавляли друг друга. Например, это не позволяет переменной с очень большими значениями сделать неэффективной переменную с малыми значениями. Это даёт модели возможность справедливо учитывать все признаки.
Инженерия признаков
Инженерия признаков — искусство извлечения значимых переменных из исходных данных, которые модель может лучше понять и которые повышают предсказательную способность. Вместо простого использования имеющихся данных, создание новой информации путём их комбинирования или преобразования напрямую влияет на успех модели. Эта стадия — место встречи предметной экспертизы специалиста по данным с математической структурой данных.
Например, вместо использования даты как есть, в модель можно добавить информацию о том, выпадает ли эта дата на выходной или праздник. Такие преобразования позволяют модели заметить скрытые сезонные или циклические эффекты в данных. Правильный выбор признаков помогает модели достичь более высокой точности с меньшим объёмом данных.
Выбор модели и гиперпараметры
Настройки, управляющие процессом обучения и поведением модели, задаваемые вручную до начала обучения, называются гиперпараметрами. Эти настройки определяют, насколько глубоко модель изучает данные, как быстро она учится и её уровень сложности. Неправильный выбор гиперпараметров может привести к тому, что модель останется слишком простой или полностью запомнит обучающие данные.
Оптимизация этих настроек обычно проводится методом проб и ошибок или систематическими методами поиска. Цель — обеспечить, чтобы модель сохраняла успех на обучающих данных, демонстрируя ту же производительность на новых данных, которых она никогда не видела. Этот баланс составляет основу способности модели к обобщению.
Взаимосвязь машинного обучения и больших данных
Большие данные — одна из главных причин, почему машинное обучение стало настолько эффективным в современную эру. По мере роста объёма данных модели получают способность распознавать более редкие случаи и решать более сложные закономерности. Не только увеличение количества, но и разнообразие и скорость потока данных позволяют системам давать ответы в реальном времени.
Большие наборы данных необходимы для обучения моделей с множеством параметров, таких как глубокое обучение. При недостатке данных сложные модели быстро попадают в проблему переобучения. Поэтому расширение источников сбора данных и обогащение данных в разных форматах — главные элементы, повышающие возможности систем искусственного интеллекта.
Часто используемые типы алгоритмов
Алгоритмы, применяемые в машинном обучении, выбираются в зависимости от типа решаемой задачи и структуры имеющихся данных. Каждый алгоритм анализирует связи в данных, используя разные математические методы, и даёт разные результаты. Некоторые из распространённых базовых подходов:
- Деревья решений: делят данные, задавая конкретные вопросы, и создают иерархическую структуру.
- Линейная регрессия: определяет связь между двумя или более переменными вдоль прямой линии.
- K-means кластеризация: группирует данные в заданное число кластеров на основе их сходства.
- Методы опорных векторов: определяют границу с максимальным зазором, разделяющую данные, принадлежащие разным классам.
- Случайные леса: объединяют большое количество деревьев решений и агрегируют результат каждого через голосование.
Мониторинг и обслуживание модели
Процесс не заканчивается после обучения и развёртывания модели машинного обучения; скорее, начинается непрерывная фаза мониторинга и обслуживания. Данные в реальном мире могут меняться со временем, и закономерности из периода, когда модель обучалась, могут потерять актуальность. Эта ситуация называется сдвигом концепции и вызывает снижение предсказательного успеха модели со временем.
Чтобы предотвратить этот риск, производительность моделей регулярно отслеживают и периодически переобучают их на новых данных. Процессы мониторинга модели проверяют, продолжает ли система выдавать надёжные результаты. Эта циклическая структура позволяет системам искусственного интеллекта адаптироваться к динамичному миру и оставаться актуальными.
Часто задаваемые вопросы
ИИ и машинное обучение — это одно и то же?
Нет. ИИ — широкая область, охватывающая системы, ведущие себя интеллектуально; машинное обучение — один из самых распространённых методов внутри неё.
Что нужно, чтобы начать изучать машинное обучение?
Хорошим стартом будут базовая статистика, линейная алгебра и язык программирования (обычно Python). Доступно множество бесплатных онлайн-ресурсов.
Источники и дополнительное чтение
- Google – Machine Learning Crash Course (наборы данных и переобучение)
- Goodfellow, I., Bengio, Y. and Courville, A. (2016), Deep Learning, MIT Press
- документация scikit-learn – Cross-validation: evaluating estimator performance
Оставить комментарий
Ваш адрес электронной почты не будет опубликован. Обязательные поля помечены *