Внимание: для доступа к курсам ITtensive на Udemy напишите,пожалуйста,на [email protected] с названием курса или группы курсов,которые хотите пройти.
Работа с большими данными и задачами искусственного интеллекта требует особого подхода - подхода машинного обучения. В этом курсе мы последовательно пройдем все этапы работы с данными: от видов задач и их постановки до работы с моделями машинного обучения для минимизации предсказательной ошибки.
Дополнительно рассмотрим фундаментальные основы построения моделей машинного обучения, базовые метрики и наиболее простые модели – линейную и логистическую регрессии.
В курсе изучается:
Классификация задач машинного обучения.
Процесс машинного обучения: ETL, EDA, подготовка данных, обучение модели.
Особенности обучения модели: выборки, переобучение и гиперпараметры.
Оптимизация гиперпараметров жадным поиском, через гиперкуб и парзеновские деревья.
Отличия переобученной модели и недообученной, практики оптимального обучения.
Работа с форматов хранения данных - HDF5.
«Проклятье» большой размерности.
Подходы к простым моделям машинного обучения: метод максимального правдоподобия и метод наименьших квадратов, среднеквадратичная ошибка.
Подходы к заполнению пропусков в данных: интерполяция и экстраполяция.
Метрики задач регрессии: эвклидово расстояние, расстояние городских квадратов, Чебышева и Минковского.
Линейная регрессия с регуляризацией и без.
Изотоническая регрессия.
Критерии выбора сложности модели: BIC и AIC.
Линеаризуемая и полиномиальная регрессия.
Логистическая регрессия.
После завершения курса вы сможете организовывать процесс разработки моделей машинного обучения и перейти к более глубокому и прикладному изучению тему машинного обучения.
Курс является вводным (базовым) и подойдет широкому кругу слушателей: от руководителей до разработчиков.
Основные задачи машинного обучения:
1) Задача регрессии – прогноз на основе выборки объектов с различными признаками. На выходе должно получиться вещественное число (2, 35, 76.454 и др.), к примеру цена квартиры, стоимость ценной бумаги по прошествии полугода, ожидаемый доход магазина на следующий месяц, качество вина при слепом тестировании.
2) Задача классификации – получение категориального ответа на основе набора признаков. Имеет конечное количество ответов (как правило, в формате «да» или «нет»): есть ли на фотографии кот, является ли изображение человеческим лицом, болен ли пациент раком.
3) Задача кластеризации – распределение данных на группы: разделение всех клиентов мобильного оператора по уровню платёжеспособности, отнесение космических объектов к той или иной категории (планета, звёзда, чёрная дыра и т. п.).
4) Задача уменьшения размерности – сведение большого числа признаков к меньшему (обычно 2–3) для удобства их последующей визуализации (например, сжатие данных).
5) Задача выявления аномалий – отделение аномалий от стандартных случаев. На первый взгляд она совпадает с задачей классификации, но есть одно существенное отличие: аномалии – явление редкое, и обучающих примеров, на которых можно натаскать машинно обучающуюся модель на выявление таких объектов, либо исчезающе мало, либо просто нет, поэтому методы классификации здесь не работают. На практике такой задачей является, например, выявление мошеннических действий с банковскими картами.
