Apache Kafka — курс по дата-инжинирингу от Otus

Программа курса

Для того, чтобы учиться на курсе, вам необходимо обладать базовыми знаниями Java или Scala, уметь работать в командной строке Unix/Linux, а также иметь опыт в Docker. Наличие этих навыков может гарантировать вам успешное прохождение программы курса. За 3 месяца вы получите необходимые знания, которые отработаете на практике. 

Введение

Узнаете, что такое брокеры обмена, и какие функции они выполняют.  Познакомитесь с интерфейсом и возможностями Apache Kafka. Рассмотрите утилиты, библиотеки API и многое другое.  Получите представление о функциональном программировании. Рассмотрите Scala. 

Узнаете, что такое брокеры обмена, и какие функции они выполняют. 

Познакомитесь с интерфейсом и возможностями Apache Kafka. Рассмотрите утилиты, библиотеки API и многое другое. 

Получите представление о функциональном программировании. Рассмотрите Scala. 

Развертывание кластера Apache Kafka

Узнаете, какими способами можнонастроить процесс развертывания кластера kafka.  Получите представление о свойствах и составных частей топиков.  Получите навык настройку мониторинга кластера Kafka. Также познакомитесь с Xinfra Monitor. Сможете настраивать различные аспекты безопасности (Аутентификация, авторизация и другое). 

Узнаете, какими способами можнонастроить процесс развертывания кластера kafka. 

Получите представление о свойствах и составных частей топиков. 

Получите навык настройку мониторинга кластера Kafka. Также познакомитесь с Xinfra Monitor.

Сможете настраивать различные аспекты безопасности (Аутентификация, авторизация и другое). 

Программирование

Узнаете, из чего состоит процесс работы надо producer API.  По аналогии рассмотрите Consumer API.  Получите знания и практичексие по работе с Admin API.  В конце этого модуля вы изучите транзации и выполните работу по разработке и запуску приложения с ними. 

Узнаете, из чего состоит процесс работы надо producer API. 

По аналогии рассмотрите Consumer API. 

Получите знания и практичексие по работе с Admin API. 

В конце этого модуля вы изучите транзации и выполните работу по разработке и запуску приложения с ними. 

Потоковая обработка данных

Научитесь разрабатывать потоковое приложение.  Потренируетесь в программировании и потоковой обработке данных.  Познакомитесь с главными составляющими акки.  Выполните практическую работу, закрепляющую полученные знания.  Рассмотрите ZIO и создадите новое потоковое приложение.  В завершении моудля кратко коснетесь изучения Spring. 

Научитесь разрабатывать потоковое приложение. 

Потренируетесь в программировании и потоковой обработке данных. 

Познакомитесь с главными составляющими акки. 

Выполните практическую работу, закрепляющую полученные знания. 

Рассмотрите ZIO и создадите новое потоковое приложение. 

В завершении моудля кратко коснетесь изучения Spring. 

Интеграция

Познакомитесь с Kafka Connect и научитесь настраивать связь с postgresSQL.  При работе с ksqlDB обратите внимание на архитектуру, работу с потоками и таблицами.  Узнаете, как развивались схемы и как они интегрируются с приложением.  Последний урок посвящен развёртыванию и использованию EST API.

Познакомитесь с Kafka Connect и научитесь настраивать связь с postgresSQL. 

При работе с ksqlDB обратите внимание на архитектуру, работу с потоками и таблицами. 

Узнаете, как развивались схемы и как они интегрируются с приложением. 

Последний урок посвящен развёртыванию и использованию EST API.

Проектная работа

Познакомитесь с требованиями к итоговой работе и обсудите свою тему с кураторами.  Получите советы по оптимизации работы над проектом. Зададите интересующие вопросы по практическим работам.  Зщитите свой проект и получите индивидуальные рекомендации от экспертов курса. 

Познакомитесь с требованиями к итоговой работе и обсудите свою тему с кураторами. 

Получите советы по оптимизации работы над проектом. Зададите интересующие вопросы по практическим работам. 

Зщитите свой проект и получите индивидуальные рекомендации от экспертов курса.