Применение машинного обучения для анализа данных и прогнозирования

Стремительное проникновение моделей искусственного интеллекта во многие сферы экономики несет в себе как возможности для развития компании, так и серьезные угрозы в случае неправильного их использования. В рамках курса – практикума разбираются особенности и возможности применения разных видов машинного обучения для анализа данных и прогнозирования, с учетом потенциальных угроз и возможностей. Слушатели научатся выбирать подходящие под свои задачи модели машинного обучения, готовить данные для обучения моделей, оценивать результаты.

Программа обучения

День 1.

Искусственный интеллект и машинное обучение: базовые понятия и характеристика.

• Искусственный интеллект. Машинное обучение. Нейронные сети. Глубокое обучение. Отличие и взаимосвязь понятий.
• Разновидности машинного обучения. Условия применения.
• Области применения разных видов машинного обучения.
• Преимущества и недостатки разных видов машинного обучения.
• Кто и для чего может использовать в работе модели машинного обучения.
• Возможности для не программиста использовать модели машинного обучения в работе.
• Характеристика программных сред: Python, нейросети в среде R, чат-ботов ChatGPT, YandexGPT и аналогов. Достоинства, недостатки, перспективы использования и ограничения.
• Угрозы от применения моделей на базе искусственного интеллекта: риски действий злоумышленников, проблемы, связанные с непосредственным применением программ. Оценка последствий.

Условия для внедрения проекта по машинному обучению (ML-проект).

• Оценка диапазона возможностей для применения. Ограничения.
• Перечень условий, соблюдение которых необходимо для построения работоспособной модели машинного обучения.
• Требования к компетенциям специалистов, необходимых для использования моделей машинного обучения в текущей деятельности.
• Инфраструктура и информационная безопасность при внедрении машинного обучения.
• Где взять данные для проекта по машинному обучению.
• Точки контроля при использовании машинного обучения для оптимизации рабочих процессов.
• Управление ML-проектом.

Процесс машинного обучения.

• Как устроено машинное обучение.
• Задачи машинного обучения.
• Данные.
• Признаки.
• Алгоритмы.
• Виды машинного обучения:
• Классическое машинное обучение — обучение с учителем (supervised learning) и обучение без учителя/ самообучение (unsupervised learning).
• Обучение с подкреплением (reinforcement learning).
• Ансамбли.
• Нейросети и глубокое обучение.

День 2.

Алгоритмы машинного обучения: методы и практическая применимость.

• Что такое библиотека машинного обучения.
• Методы и модели машинного обучения для анализа и прогнозирования данных.
• Характеристика моделей для регрессии и классификации данных.
• Модели классификации — задача прогнозирования целевой категории (деление данных на две и более категории).
• Алгоритм обнаружения аномалий — задача поиска необычных точек данных.
• Модели регрессии — задача прогнозирования значений признака, измеренного в метрической шкале.
• Модели временных рядов — задача анализа и прогнозирования изменения значений показателя во времени.
• Методы кластеризации — задача обнаружения сходства исследуемых объектов, их сегментации.

Подготовка данных для анализа. Статистика, используемая в машинном обучении.

• Моделирование. Построение и проверка гипотез.
• Требования к исходной информации.
• Критерии и актуальность отбора значимых признаков для проведения машинного обучения.
• Требования к результату.
• Описательная статистика: требуемые базовые знания.
• Типы статистических данных.
• Меры центральной тенденции: среднее значение, медиана, мода. Проблема выбросов.
• Меры разброса данных: размах, стандартное отклонение, дисперсия, коэффициент вариации.
• Меры формы.
• Регрессионный анализ: последовательность шагов, условия правильности применения, правила оценки результатов.

День 3.

Методика выполнения задания: разбор последовательности действий.

• Определение проблемы, загрузка библиотек и данных.
• Анализ данных: распределение данных по классам, описательные статистики, визуализация.
• Первичная обработка данных и отбор признаков.
• Разбивка выборки на тестовую и обучающую.
• Обучение модели.
• Выбор лучшей модели для прогнозирования данных.
• Прогнозирование по лучшей модели.
• Интерпретация результатов.

Практикум: «Построение модели машинного обучения для регрессии».

• Пошаговое выполнение заданий на компьютере на базе готового набора данных с последующей оценкой результатов и подготовкой выводов под руководством эксперта. 

День 4.

Практикум: «Построение модели машинного обучения для классификации».

• Пошаговое выполнение заданий на компьютере на базе готового набора данных с последующей оценкой результатов и подготовкой выводов под руководством эксперта в анализе данных в программной среде Python. 

Занятия частично проводятся в компьютерном классе.