Стартовали тренировки по машинному обучению

ML — это новое направление тренировок, которое создано Школой анализа данных. Первые тренировки по ML посвящены классическому машинному обучению. Это возможность закрепить теорию на тренировочных задачах, а также познакомиться с другими начинающими ML-специалистами. В течение четырёх недель вы смотрите лекции, выполняете домашние задания, смотрите разборы и получаете баллы, которые определяют ваше место в рейтинге участников. В конце тренировок лидеры рейтинга получают награды от Яндекса. Обучение бесплатное. Чтобы попасть на тренировки, необходимо зарегистрироваться по ссылке.

Программа

• Вводная по ML + knn. Задачи машинного обучения в очевидных и неочевидных местах. Формальная постановка задачи обучения с учителем. Основные понятия в машинном обучении. Скалярное произведение, метрика, линейные пространства. Метод ближайших соседей.
• Линейная регрессия и регуляризация. Аналитическое и градиентное решения. Неустойчивость решения. Теорема Гаусса-Маркова. Ограничения на вектор параметров. L1 и L2 регуляризация, их влияние на решение.
• Линейная классификация, метод максимального правдоподобия. Линейные механизмы классификации. Отступ. Логистическая функция потерь. Hinge loss. Правдоподобие, метод максимального правдоподобия. Логистическая регрессия и бернуллиевская случайная величина.
• Решающие деревья, композиции деревьев, Random Forest. Процедура построения деревьев регрессии и классификации. Жадный алгоритм. Информационные критерии. Бутстрап, бэггинг. «Мудрость толпы». Случайный лес. Особые свойства решающих деревьев.
• Градиентный бустинг, тонкости обучения. Интуитивное объяснение механизма бустинга. Ограничения на базовые алгоритмы и функции потерь. Различия в применении различных методов ансамблирования: бустинга и бэггинга.
• Оценка значимости признаков, обучение без учителя. Методы оценки значимости признаков. Permutation importance. LIME. Shap values. Задачи обучения без учителя: кластеризации, снижения размерности.
• Обзорная лекция по DL. Основы Deep Learning. Нейронные сети как развитие «классических» моделей машинного обучения. Построение моделей с учётом свойств данных. Инвариантность, эквивариантность.