Data Engineering: инженер данных от GeekBrains

Программа курса

Большая часть курса — это вебинары, на которых вы сможете задавать вопросы преподавателям и обсуждать пройденный материал. Вы будете постепенно двигаться от легких тем к объемным и сложным.

Подготовительный блок

Вы познакомитесь с системой контроля версий, установите на ПК и настроите её под себя. Рассмотрите базовые команды терминала, научитесь управлять файлами и ветками репозитория и проводить сложные операции. 

Вы познакомитесь с системой контроля версий, установите на ПК и настроите её под себя. Рассмотрите базовые команды терминала, научитесь управлять файлами и ветками репозитория и проводить сложные операции. 

Вы познакомитесь с системой контроля версий, установите на ПК и настроите её под себя. Рассмотрите базовые команды терминала, научитесь управлять файлами и ветками репозитория и проводить сложные операции. 

I четверть. Сбор и хранение данных

Узнаете, как устроены базы данных и изучите язык запросов SQL, чтобы общаться с ними. Научитесь сортировать и фильтровать данные, проводить и оптимизировать сложные запросы. Познакомитесь с функциями, выражениями и словарями этого языка программирования. Изучите принципы ООП и узнаете, как работать с файловой системой. Вы изучите методы парсинга данных с помощью нескольких программ и приложений. Познакомитесь с системами, которые управляют базами данных. Освоите фреймворк Scrapy. Вы с нуля разработаете парсер.

Узнаете, как устроены базы данных и изучите язык запросов SQL, чтобы общаться с ними. Научитесь сортировать и фильтровать данные, проводить и оптимизировать сложные запросы. Познакомитесь с функциями, выражениями и словарями этого языка программирования. Изучите принципы ООП и узнаете, как работать с файловой системой. Вы изучите методы парсинга данных с помощью нескольких программ и приложений. Познакомитесь с системами, которые управляют базами данных. Освоите фреймворк Scrapy.

Узнаете, как устроены базы данных и изучите язык запросов SQL, чтобы общаться с ними. Научитесь сортировать и фильтровать данные, проводить и оптимизировать сложные запросы.

Познакомитесь с функциями, выражениями и словарями этого языка программирования. Изучите принципы ООП и узнаете, как работать с файловой системой.

Вы изучите методы парсинга данных с помощью нескольких программ и приложений. Познакомитесь с системами, которые управляют базами данных. Освоите фреймворк Scrapy.

Вы с нуля разработаете парсер.

II четверть. Построение хранилищ данных для систем аналитики

Вы изучите архитектуру хранилищ и узнаете, как их спроектировать. Научитесь создавать ETL-процессы и управлять качеством обрабатываемых данных. Выполните курсовую работу. Познакомитесь с многомерными хранилищами, научитесь создавать меры и работать с разными измерениями. Сможете оптимизировать процессинг и подключить BI-систему Узнаете, как организовать NoSQL данные несколькими способами. Познакомитесь с MongoDB и изучите Tarantool. Создание собственного хранилища для BI-системы.

Вы изучите архитектуру хранилищ и узнаете, как их спроектировать. Научитесь создавать ETL-процессы и управлять качеством обрабатываемых данных. Выполните курсовую работу. Познакомитесь с многомерными хранилищами, научитесь создавать меры и работать с разными измерениями. Сможете оптимизировать процессинг и подключить BI-систему Узнаете, как организовать NoSQL данные несколькими способами. Познакомитесь с MongoDB и изучите Tarantool.

Вы изучите архитектуру хранилищ и узнаете, как их спроектировать. Научитесь создавать ETL-процессы и управлять качеством обрабатываемых данных. Выполните курсовую работу.

Познакомитесь с многомерными хранилищами, научитесь создавать меры и работать с разными измерениями. Сможете оптимизировать процессинг и подключить BI-систему

Узнаете, как организовать NoSQL данные несколькими способами. Познакомитесь с MongoDB и изучите Tarantool.

Создание собственного хранилища для BI-системы.

III четверть. Распределенные базы данных

Вы научитесь работать с файловой системой, разберетесь с управлением кластерами с помощью HDFS, движком для SQL-запросов Hive, веб-интерфейсом для анализа данных HUE, форматами хранения данных, ETL, нереляционными базами данных и Data Warehouse. Вы познакомитесь с архитектурой фреймворка, узнаете, как он обрабатывает запросы, хранит и читает данные. Научитесь оптимизировать SQL-запросы, проводить операции с данными и разберете тему Machine Learning на PySpark  Узнаете, как разрабатывать и настраивать потоки данных и планировать задачи. Рассмотрите примеры использования задач, которые можно решить с помощью Airflow. Вы создадите ETL-пайплайн, пользуясь инструментами для работы с Big Data.

Вы научитесь работать с файловой системой, разберетесь с управлением кластерами с помощью HDFS, движком для SQL-запросов Hive, веб-интерфейсом для анализа данных HUE, форматами хранения данных, ETL, нереляционными базами данных и Data Warehouse. Вы познакомитесь с архитектурой фреймворка, узнаете, как он обрабатывает запросы, хранит и читает данные. Научитесь оптимизировать SQL-запросы, проводить операции с данными и разберете тему Machine Learning на PySpark  Узнаете, как разрабатывать и настраивать потоки данных и планировать задачи. Рассмотрите примеры использования задач, которые можно решить с помощью Airflow.

Вы научитесь работать с файловой системой, разберетесь с управлением кластерами с помощью HDFS, движком для SQL-запросов Hive, веб-интерфейсом для анализа данных HUE, форматами хранения данных, ETL, нереляционными базами данных и Data Warehouse.

Вы познакомитесь с архитектурой фреймворка, узнаете, как он обрабатывает запросы, хранит и читает данные. Научитесь оптимизировать SQL-запросы, проводить операции с данными и разберете тему Machine Learning на PySpark 

Узнаете, как разрабатывать и настраивать потоки данных и планировать задачи. Рассмотрите примеры использования задач, которые можно решить с помощью Airflow.

Вы создадите ETL-пайплайн, пользуясь инструментами для работы с Big Data.

IV четверть. Real-time обработка данных и инфраструктура

Вы поймете, как обрабатывать данные в реальном времени, используя Kafka и Spark Streaming. Получите навыки DevOps, которые помогут вам в работе.  Вы познакомитесь с устройством Kafka и Workflow. Научитесь применять их в работе. Узнаете, как создавать динамические запросы. Узнаете, зачем используется Docker, что такое контейнеры и микросервисы, познакомитесь с программой Kubernetes и поймете принципы ее работы, разберетесь в устройстве кластеров и научитесь использовать CI/CD. Вы создадите сервис, который будет использовать машинное обучение для оценки способности клиентов банка погашать кредиты.

Вы познакомитесь с устройством Kafka и Workflow. Научитесь применять их в работе. Узнаете, как создавать динамические запросы. Узнаете, зачем используется Docker, что такое контейнеры и микросервисы, познакомитесь с программой Kubernetes и поймете принципы ее работы, разберетесь в устройстве кластеров и научитесь использовать CI/CD.

Вы познакомитесь с устройством Kafka и Workflow. Научитесь применять их в работе. Узнаете, как создавать динамические запросы.

Узнаете, зачем используется Docker, что такое контейнеры и микросервисы, познакомитесь с программой Kubernetes и поймете принципы ее работы, разберетесь в устройстве кластеров и научитесь использовать CI/CD.

Вы создадите сервис, который будет использовать машинное обучение для оценки способности клиентов банка погашать кредиты.

Курсы вне четверти. Предметы с индивидуальным выбором даты старта

Эти курсы обязательны для прохождения и входят в основную программу курса. Вы сами можете выбрать время обучения на этих курсах, чтобы подстроить нагрузку под себя. Вы должны закончить курсы в течение 2,5 лет после покупки курса. Вы узнаете, как работает машинное обучение, что нужно для построения модели и как готовить данные для выполнения разных задач. Установите операционную систему, рассмотрите её интерфейс и командную строку, поймете, как устроена файловая система и как управлять пользователями. Изучите скрипты Bash и узнаете, как обеспечить безопасность сети. Познакомитесь с Docker.

Вы узнаете, как работает машинное обучение, что нужно для построения модели и как готовить данные для выполнения разных задач. Установите операционную систему, рассмотрите её интерфейс и командную строку, поймете, как устроена файловая система и как управлять пользователями. Изучите скрипты Bash и узнаете, как обеспечить безопасность сети. Познакомитесь с Docker.

Вы узнаете, как работает машинное обучение, что нужно для построения модели и как готовить данные для выполнения разных задач.

Установите операционную систему, рассмотрите её интерфейс и командную строку, поймете, как устроена файловая система и как управлять пользователями. Изучите скрипты Bash и узнаете, как обеспечить безопасность сети. Познакомитесь с Docker.