MLOps: навыки машинного обучения для потоковых данных и распределенной среды от Otus

Программа курса

Вас ждут онлайн-занятия, на которых вы научитесь работать с потоковыми данными и освоите инженерные навыки, а также выполните итоговый проект для портфолио.

Базовые вводные для старта курса

Вы узнаете, что такое градиентный спуск и научитесь работать с линейными моделями. Вы рассмотрите ключевые метрики машинного обучения и наиболее применяемые методы. Вы изучите историю работы с данными и увидите этапы развития подходов. Вы научитесь программировать на языке Scala и потренируетесь в этом на практике.

Вы узнаете, что такое градиентный спуск и научитесь работать с линейными моделями.

Вы рассмотрите ключевые метрики машинного обучения и наиболее применяемые методы.

Вы изучите историю работы с данными и увидите этапы развития подходов.

Вы научитесь программировать на языке Scala и потренируетесь в этом на практике.

Технологические основы распределенной обработки данных

Вы узнаете, как устроены распределенные файловые системы и сможете с ними взаимодействовать. Вы научитесь работать с менеджерами ресурсов в распределенных файловых системах. Вы изучите этапы развития данных фреймворков и рассмотрите несколько примеров их применения. Вы изучите основы работы с популярным фреймворком Apache Spark.

Вы узнаете, как устроены распределенные файловые системы и сможете с ними взаимодействовать.

Вы научитесь работать с менеджерами ресурсов в распределенных файловых системах.

Вы изучите этапы развития данных фреймворков и рассмотрите несколько примеров их применения.

Вы изучите основы работы с популярным фреймворком Apache Spark.

Основы распределенного МL

Вы узнаете способы грамотного переноса ML-алгоритмов в распределенную вычислительную среду. Вы сможете работать с ML-моделями в популярном фреймворке Apache Spark. Вы сможете самостоятельно создавать различные блоки для популярной библиотеки SparkML. Вы поймете, как можно автоматизировать ML-процессы и оптимизировать гиперпараметры. Вы рассмотрите различные библиотеки для Spark и узнаете задачи, которые они помогают решить.

Вы узнаете способы грамотного переноса ML-алгоритмов в распределенную вычислительную среду.

Вы сможете работать с ML-моделями в популярном фреймворке Apache Spark.

Вы сможете самостоятельно создавать различные блоки для популярной библиотеки SparkML.

Вы поймете, как можно автоматизировать ML-процессы и оптимизировать гиперпараметры.

Вы рассмотрите различные библиотеки для Spark и узнаете задачи, которые они помогают решить.

Потоковая обработка данных

Вы узнаете, что такое потоковая обработка данных и научитесь ее использовать. Вы освоите компонент Spark, который используется для обработки данных в онлайн-режиме. Вы научитесь осуществлять структурный и непрерывный стриминг в Spark. Вы рассмотрите другие потоковые фреймворки, узнаете их преимущества и недостатки.

Вы узнаете, что такое потоковая обработка данных и научитесь ее использовать.

Вы освоите компонент Spark, который используется для обработки данных в онлайн-режиме.

Вы научитесь осуществлять структурный и непрерывный стриминг в Spark.

Вы рассмотрите другие потоковые фреймворки, узнаете их преимущества и недостатки.

Целеполагание и анализ результатов

Вы научитесь определять цели вашего ML-проекта и анализировать их. Вы рассмотрите реальную задачу и на ее примере поймете, как определяются долгосрочные ML-цели. Вы научитесь проводить A/B-тестирования и анализировать их результаты. Вы изучите дополнительные темы, связанные с целеполаганием и анализом результатов.

Вы научитесь определять цели вашего ML-проекта и анализировать их.

Вы рассмотрите реальную задачу и на ее примере поймете, как определяются долгосрочные ML-цели.

Вы научитесь проводить A/B-тестирования и анализировать их результаты.

Вы изучите дополнительные темы, связанные с целеполаганием и анализом результатов.

Вывод результатов ML в продакшн

Вы рассмотрите особенности различных подходов выводов ML-решений в продакшн. Вы научитесь использовать Data Version Control для версионирования данных и воспроизводимости экспериментов. Вы узнаете, что такое онлайн-сервинг моделей и сможете его проводить. Вы изучите различные паттерны асинхронного потокового машинного обучения. Вы поймете, в каких ситуациях вам нужно будет использовать язык Python, и освоите необходимые функции.

Вы рассмотрите особенности различных подходов выводов ML-решений в продакшн.

Вы научитесь использовать Data Version Control для версионирования данных и воспроизводимости экспериментов.

Вы узнаете, что такое онлайн-сервинг моделей и сможете его проводить.

Вы изучите различные паттерны асинхронного потокового машинного обучения.

Вы поймете, в каких ситуациях вам нужно будет использовать язык Python, и освоите необходимые функции.

ML на Python в продакшне

Вы узнаете критерии хорошего кода на языке Python и научитесь их соблюдать. Вы научитесь проектировать REST-архитектуру с помощью фреймворка Flask. Вы узнаете, что такое Docker, рассмотрите его структуру и способы применения. Вы научитесь использовать платформу Kubernetes, сможете создавать контейнеры и управлять ими с помощью нее. Вы освоите различные полезные инструменты для платформы Kubernetes и потренируетесь их применять. Вы научитесь работать с облачной платформой машинного обучения Amazon Sagemaker. Вы освоите инструмент AWS, который предоставляет множество полезных сервисов для машинного обучения.

Вы узнаете критерии хорошего кода на языке Python и научитесь их соблюдать.

Вы научитесь проектировать REST-архитектуру с помощью фреймворка Flask.

Вы узнаете, что такое Docker, рассмотрите его структуру и способы применения.

Вы научитесь использовать платформу Kubernetes, сможете создавать контейнеры и управлять ими с помощью нее.

Вы освоите различные полезные инструменты для платформы Kubernetes и потренируетесь их применять.

Вы научитесь работать с облачной платформой машинного обучения Amazon Sagemaker.

Вы освоите инструмент AWS, который предоставляет множество полезных сервисов для машинного обучения.

Продвинутые топики

Вы узнаете, что такое нейронные сети и поймете, на что они способны. Вы научитесь строить нейросети при помощи инференса и распределенного обучения. Вы освоите метод машинного обучения, предназначенный для выполнения задач регрессии и классификации. Вы изучите способ обучения, когда нейросеть учится, взаимодействуя с некоторой средой.

Вы узнаете, что такое нейронные сети и поймете, на что они способны.

Вы научитесь строить нейросети при помощи инференса и распределенного обучения.

Вы освоите метод машинного обучения, предназначенный для выполнения задач регрессии и классификации.

Вы изучите способ обучения, когда нейросеть учится, взаимодействуя с некоторой средой.

Проектная работа

Вы узнаете, как организована проектная работа и выберете интересующую вас тему. Вы получите консультацию по домашним заданиям и теме вашего проекта. Вы защитите ваши проекты перед преподавателями и получите от них отзыв.

Вы узнаете, как организована проектная работа и выберете интересующую вас тему.

Вы получите консультацию по домашним заданиям и теме вашего проекта.

Вы защитите ваши проекты перед преподавателями и получите от них отзыв.