Перейти к содержанию

Знания, освещающие мир

Что такое машинное обучение? Как компьютеры учатся на данных — простым языком

Машинное обучение лежит в основе многих технологий — от спам-фильтров до рекомендаций фильмов. Мы объясняем ключевые понятия, типы обучения и ограничения на примерах.

Что такое машинное обучение? Как компьютеры учатся на данных — простым языком

В традиционном программном обеспечении мы пошагово указываем компьютеру, что делать, с помощью правил. В машинном обучении мы даём компьютеру множество примеров и позволяем ему самому выработать правила. Машинное обучение — самая широко используемая ветвь искусственного интеллекта сегодня.

Простой пример: спам-фильтр

Написать все правила, решающие, является ли электронное письмо спамом, практически невозможно. Вместо этого системе показывают тысячи писем с метками «спам» или «нормальное». Модель учит закономерности в этих примерах и становится способной классифицировать новые письма, которых она никогда не видела.

Три основных типа обучения

  • Обучение с учителем: Модель обучается на примерах с известными правильными ответами. Прогнозирование цен на жилье, распознавание объектов на изображениях и обнаружение спама — примеры.
  • Обучение без учителя: Модель обнаруживает скрытые группы и структуры в немаркированных данных, например, группирует покупателей по схожему поведению при покупках.
  • Обучение с подкреплением: Модель учит наилучшей стратегии методом проб и ошибок, руководствуясь наградами и штрафами. Игровые ИИ и некоторые робототехнические приложения используют этот метод.

Глубокое обучение и нейронные сети

Глубокое обучение — подход к машинному обучению, вдохновлённый работой мозга, использующий многослойные «искусственные нейронные сети». Благодаря большим данным и мощным процессорам оно обеспечило крупные прорывы в распознавании речи, обработке изображений, переводе и текстогенерирующих чат-ассистентах.

Примеры из повседневной жизни

  • Рекомендации на видео- и музыкальных платформах
  • Разблокировка по лицу на телефонах и автоматическая группировка в фото-галереях
  • Обнаружение банками подозрительных транзакций
  • Прогнозы пробок в картографических приложениях
  • Автоматический перевод и голосовые ассистенты

Ограничения и риски

  • Качество данных: Модель настолько хороша, насколько хороши данные, на которых она обучена. Неполные или неверные данные приводят к неверным результатам.
  • Предвзятость: Социальные предвзятости в обучающих данных могут отражаться в модели, поэтому создание справедливых, прозрачных систем — важная область исследований.
  • Объяснимость: Бывает трудно понять, как некоторые сложные модели приходят к решению.
  • Конфиденциальность: Использование персональных данных при обучении требует юридической и этической осторожности.

Как модель обучается и тестируется?

В проектах машинного обучения данные обычно делят на три части. Это разделение — базовый способ узнать, действительно ли модель чему-то научилась:

  • Обучающие данные: Основной набор данных, из которого модель учит закономерности; сюда попадает наибольшая доля данных.
  • Валидационные данные: Используются во время обучения для подбора настроек модели и сравнения разных попыток.
  • Тестовые данные: Используются один раз в самом конце, чтобы измерить, насколько хорошо модель работает на данных, которых она никогда не видела.

Когда данных мало, метод «перекрёстной проверки» разбивает данные на несколько частей и по очереди использует каждую для тестирования, чтобы результат не зависел от одного удачного разбиения.

Переобучение: модель, которая запоминает

Одна из самых частых проблем в машинном обучении — «переобучение». В этом случае модель запоминает не только общие правила в обучающих данных, но и их случайные детали и шум. В результате она выглядит почти идеально на обучающих данных, но её качество заметно падает на новых данных. Это как студент, который заучивает вопросы прошлых лет, не понимая предмет, а потом теряется на новом вопросе. Сбор большего количества и более разнообразных данных, не усложнение модели без необходимости и остановка обучения, когда качество на валидационных данных начинает падать — распространённые способы снизить переобучение.

Предварительная обработка данных

Предварительная обработка данных — процесс приведения исходных данных в форму, пригодную для анализа и обработки моделью. Данные, собранные в реальном мире, часто зашумлены, содержат некорректные записи, пропущенные значения или несовместимые форматы. Если такие данные подать в модель без очистки, система может выучить неверные закономерности, что приведёт к ошибочным результатам. Поэтому очистка данных — одна из самых трудоёмких, но критических стадий процесса машинного обучения.

В этом процессе пропущенные данные заполняются определёнными методами или удаляются полностью. Кроме того, применяются процедуры нормализации, чтобы переменные с разными масштабами не подавляли друг друга. Например, это не позволяет переменной с очень большими значениями сделать неэффективной переменную с малыми значениями. Это даёт модели возможность справедливо учитывать все признаки.

Инженерия признаков

Инженерия признаков — искусство извлечения значимых переменных из исходных данных, которые модель может лучше понять и которые повышают предсказательную способность. Вместо простого использования имеющихся данных, создание новой информации путём их комбинирования или преобразования напрямую влияет на успех модели. Эта стадия — место встречи предметной экспертизы специалиста по данным с математической структурой данных.

Например, вместо использования даты как есть, в модель можно добавить информацию о том, выпадает ли эта дата на выходной или праздник. Такие преобразования позволяют модели заметить скрытые сезонные или циклические эффекты в данных. Правильный выбор признаков помогает модели достичь более высокой точности с меньшим объёмом данных.

Выбор модели и гиперпараметры

Настройки, управляющие процессом обучения и поведением модели, задаваемые вручную до начала обучения, называются гиперпараметрами. Эти настройки определяют, насколько глубоко модель изучает данные, как быстро она учится и её уровень сложности. Неправильный выбор гиперпараметров может привести к тому, что модель останется слишком простой или полностью запомнит обучающие данные.

Оптимизация этих настроек обычно проводится методом проб и ошибок или систематическими методами поиска. Цель — обеспечить, чтобы модель сохраняла успех на обучающих данных, демонстрируя ту же производительность на новых данных, которых она никогда не видела. Этот баланс составляет основу способности модели к обобщению.

Взаимосвязь машинного обучения и больших данных

Большие данные — одна из главных причин, почему машинное обучение стало настолько эффективным в современную эру. По мере роста объёма данных модели получают способность распознавать более редкие случаи и решать более сложные закономерности. Не только увеличение количества, но и разнообразие и скорость потока данных позволяют системам давать ответы в реальном времени.

Большие наборы данных необходимы для обучения моделей с множеством параметров, таких как глубокое обучение. При недостатке данных сложные модели быстро попадают в проблему переобучения. Поэтому расширение источников сбора данных и обогащение данных в разных форматах — главные элементы, повышающие возможности систем искусственного интеллекта.

Часто используемые типы алгоритмов

Алгоритмы, применяемые в машинном обучении, выбираются в зависимости от типа решаемой задачи и структуры имеющихся данных. Каждый алгоритм анализирует связи в данных, используя разные математические методы, и даёт разные результаты. Некоторые из распространённых базовых подходов:

  • Деревья решений: делят данные, задавая конкретные вопросы, и создают иерархическую структуру.
  • Линейная регрессия: определяет связь между двумя или более переменными вдоль прямой линии.
  • K-means кластеризация: группирует данные в заданное число кластеров на основе их сходства.
  • Методы опорных векторов: определяют границу с максимальным зазором, разделяющую данные, принадлежащие разным классам.
  • Случайные леса: объединяют большое количество деревьев решений и агрегируют результат каждого через голосование.

Мониторинг и обслуживание модели

Процесс не заканчивается после обучения и развёртывания модели машинного обучения; скорее, начинается непрерывная фаза мониторинга и обслуживания. Данные в реальном мире могут меняться со временем, и закономерности из периода, когда модель обучалась, могут потерять актуальность. Эта ситуация называется сдвигом концепции и вызывает снижение предсказательного успеха модели со временем.

Чтобы предотвратить этот риск, производительность моделей регулярно отслеживают и периодически переобучают их на новых данных. Процессы мониторинга модели проверяют, продолжает ли система выдавать надёжные результаты. Эта циклическая структура позволяет системам искусственного интеллекта адаптироваться к динамичному миру и оставаться актуальными.

Часто задаваемые вопросы

ИИ и машинное обучение — это одно и то же?

Нет. ИИ — широкая область, охватывающая системы, ведущие себя интеллектуально; машинное обучение — один из самых распространённых методов внутри неё.

Что нужно, чтобы начать изучать машинное обучение?

Хорошим стартом будут базовая статистика, линейная алгебра и язык программирования (обычно Python). Доступно множество бесплатных онлайн-ресурсов.

Источники и дополнительное чтение

  1. Google – Machine Learning Crash Course (наборы данных и переобучение)
  2. Goodfellow, I., Bengio, Y. and Courville, A. (2016), Deep Learning, MIT Press
  3. документация scikit-learn – Cross-validation: evaluating estimator performance
Поделиться
Подписывайтесь на YulaHubУзнавайте главные новости дня первыми.
RSS

Оставить комментарий

Ваш адрес электронной почты не будет опубликован. Обязательные поля помечены *