Содержание

Тема	Материалы	Задания	Проверочные
Обработка данных в python	Дьяконов Базовый Python Дьяконов Pandas Дьяконов Numpy Дьяконов sklearn	Курс по базовому питону Задачи на pandas Задачи на numpy и pandas (Неделя 2 - Векторы, Матрицы)
Градиентные методы оптимизации	Основные Ноутбук Лекция Дьяконова Теория по матричному дифференцированию _________________________________ Дополнительно Примеры нахождения матричных производных Интерактивные визуализации методов оптимизации Математика в машинном обучении (225 страница, Continuous optimization)	Семинарские задачи Практическая
Метрические методы	Основные Соколов KNN Дьяконов Метрические методы Дьяконов Валидация моделей Соколов KNN (с картинками) Соколов Обучение метрик Соколов Приближённые методы поиска ближайших соседей _________________________________ Дополнительно Ноутбук Соколов. Приближённый поиск ближайших соседей. NSW и HNSW (начиная с 40:50) Обзор методов приближённого поиска ближайших соседей	Семинарские задачи	Вариант1 _______________ Тест от Дьяконова
Логические методы	Основные Соколов Решающие деревья Дьяконов Решающие деревья _________________________________ Дополнительно Соколов деревья с картинками Соколов Пример построения дерева Uplift моделирование с помощью деревьев	Семинарские задачи Практическая	Вариант 1 _______________ Тест от Дьяконова
Метрики качества	Основные Соколов Метрики качества бинарной классификации Дьяконов Метрики качества Соколов Метрики качества многоклассовой классификации Соколов ROC-AUC _________________________________ Дополнительно Дьяконов ROC-AUC Дьяконов Кривые в ML	Семинарские задачи	Тест от Дьяконова (AUC)
Линейные методы	Основные Соколов Обучение линейных классификаторов в общем виде Соколов SVM и Logreg Дьяконов Линейные методы Теория SVM (370 страница, Classification with Support Vector Machines) __________________________________ Дополнительно Ноутбук логрег Ноутбук по условной оптимизации и SVM Соколов logreg с картинками Соколов SVM с картинками __________________________________ Ликбез по условной оптимизации Условная оптимизация Теория ККТ с примерами Теория двойственности Заметки о решении задач условной оптимизации	Семинарские задачи
Ядровые методы	Основные Соколов. Ядра 1 Соколов. Ядра 2 Соколов. Ядра 3 Соколов. Ядра 4 Математика в машинном обучении (388 страница, Kernels)	Семинарские задачи
Обучение без учителя	Embeddings Снижение размерности и кластеризация (ноутбук) Соколов PCA Word2Vec Соколов t-SNE Математика в машинном обучении (стр. 317, Dimensionality Reduction with Principal Component Analysis) __________________________________ Кластеризация Соколов Кластеризация DBSCAN __________________________________ Дополнительно clustering+tsne (ноутбук) Байесовский вариант PCA Embeddings в рекомендательных системах (2.1.2 Модели со скрытыми переменными) t-SNE paper Соколов про t-SNE (Обратите внимание, что там потерян минус в определении условных вероятностей p и q)	Семинарские задачи
Байесовские методы	Основные Дьяконов Байесовский подход в ML Соколов ЕМ Соколов plsa Соколов ЕМ для PCA _________________________________ Дополнительно Воронцов Topic modelling (presentation) Ветров Bayes PCA Воронцов Topic modeilling (pdf) Курс ФКН по байесовским методам	Семинарские задачи
Bias-variance decomposition	Основные Соколов BVD Дьяконов BVD _________________________________ Дополнительно BVD для линейной регрессии BVD для K-NN	Семинарские задачи
Ансамбли	Градиентный бустинг Соколов бутстрэп и AdaBoost Соколов Градиентный бустинг Дьяконов Градиентный бустинг Соколов Градиентный бустинг (вопросы и ответы) Соколов XGBoost Дьяконов Ансамбли Дьяконов RF & GBM _________________________________ Стэкинг Гущин Stacking Дьяконов Stacking _________________________________ Дополнительно LighGBM paper CatBoost paper Bagging vs. Boosting Соколов Градиентный бустинг с картинками	Семинарские задания
Нейронные сети	_________________________________ Дополнительно Yann LeCun

Материалы к экзамену:

1. Билеты
   • Расписанные билеты
2. Теоретический минимум
   • Расписанный теормин

Тесты:

Минитест от Дьяконова - на знание ML

Тест в компанию Plarium

Тест в компанию Алгомост

Полезные ссылки:

Учебник по ML от ШАД

Анализ малых данных - блог Дьяконова о машинном обучении

Гитхаб Дьяконова:

• IML - курс по машинному обучению для 1-2 курсов.
• MLDM - потоковый курс по ML для 3их курсов
• DL - курс по глубокому обучению

Курсы ФКН:

• Соколов. ML1
• Соколов. ML2

Книга Дмитрия Ефимова (Есть примеры реализаций ML алгоритмов на голом питоне)