Apache Kafka База. Видеокурс от Слёрма
Вы научитесь
Программа курса
Вы ознакомитесь с функциями и принципами работы Apache Kafka, научитесь создавать и поддерживать сетевую архитектуру при помощи этого брокера сообщений.
Введение
Узнаете историю создания программного брокера Apache Kafka. Ознакомитесь с базовой информацией о Kafka. Увидите, как применяется брокер сообщений на практике.
Узнаете историю создания программного брокера Apache Kafka.
Ознакомитесь с базовой информацией о Kafka.
Увидите, как применяется брокер сообщений на практике.
Базовые основы технологии
Проведёте сравнение между JMS-based message queue (MQ) и Apache Kafka. Разберётесь в структуре данных при работе с брокером Apache Kafka. Узнаете об особенностях работы с потребительскими группами. Поймёте, как Zookeeper используется для хранения метаданных.
Проведёте сравнение между JMS-based message queue (MQ) и Apache Kafka.
Разберётесь в структуре данных при работе с брокером Apache Kafka.
Узнаете об особенностях работы с потребительскими группами.
Поймёте, как Zookeeper используется для хранения метаданных.
Установка и работа с кластером из одного брокера
Узнаете, как запускать Apache Kafka. Познакомитесь с функциями записи и чтения данных. Подробнее остановитесь на функции Topic Retention, которая позволяет управлять данными в Apache Kafka. Поймёте, какую роль выполняет партиционирование в Kafka и что составляет структуру партиции. Изучите сжатие логов в Apache Kafka. Поработаете с функцией Apache Zookeeper.
Узнаете, как запускать Apache Kafka.
Познакомитесь с функциями записи и чтения данных.
Подробнее остановитесь на функции Topic Retention, которая позволяет управлять данными в Apache Kafka.
Поймёте, какую роль выполняет партиционирование в Kafka и что составляет структуру партиции.
Изучите сжатие логов в Apache Kafka.
Поработаете с функцией Apache Zookeeper.
Клиентские библиотеки
Познакомитесь с брокером, который отвечает за производство и отправку данных в Apache Kafka. Изучите принципы работы с группами, поглощающими данные. Разберётесь в особенностях транзакций данных.
Познакомитесь с брокером, который отвечает за производство и отправку данных в Apache Kafka.
Изучите принципы работы с группами, поглощающими данные.
Разберётесь в особенностях транзакций данных.
Отказоустойчивость кластера в рамках одного дата-центра
Поймёте, как устроена система защиты данных в кластере. Изучите репликацию данных. Узнаете, какую функцию выполняет контроллер в архитектуре Apache Kafka. Разберётесь в системе конфигурации брокеров в Kafka. Научитесь резервному копированию, импорту и перемещению данных. Поймёте, какие существуют ограничения для дата-центра.
Поймёте, как устроена система защиты данных в кластере.
Изучите репликацию данных.
Узнаете, какую функцию выполняет контроллер в архитектуре Apache Kafka.
Разберётесь в системе конфигурации брокеров в Kafka.
Научитесь резервному копированию, импорту и перемещению данных.
Поймёте, какие существуют ограничения для дата-центра.
Работа с распределенным кластером
Разберётесь, когда одного дата-центра недостаточно для работы с данными. Узнаете об особенностях работы с инструментом "Stretched cluster". Поймёте, как работают кластеры с асинхронным взаимодействием. Научитесь работать с репликацией — хранением копии одних и тех же данных на нескольких разных узлах. Поймёте, какие нюансы ждут вас при работе с несколькими дата-центрами.
Разберётесь, когда одного дата-центра недостаточно для работы с данными.
Узнаете об особенностях работы с инструментом "Stretched cluster".
Поймёте, как работают кластеры с асинхронным взаимодействием.
Научитесь работать с репликацией — хранением копии одних и тех же данных на нескольких разных узлах.
Поймёте, какие нюансы ждут вас при работе с несколькими дата-центрами.
Мониторинг
Узнаете, какие инструменты применяются для мониторинга и управления кластером. Научитесь замерять работоспособность системы при помощи нескольких метрик. Подробнее познакомитесь с метриками SRE (System Reliability Engineering).
Узнаете, какие инструменты применяются для мониторинга и управления кластером.
Научитесь замерять работоспособность системы при помощи нескольких метрик.
Подробнее познакомитесь с метриками SRE (System Reliability Engineering).
Анализ производительности
Узнаете о преимуществах Apache Kafka в скорости обмена сообщениями. Научитесь проводить бенчмаркинг-тесты для анализа производительности системы.
Узнаете о преимуществах Apache Kafka в скорости обмена сообщениями.
Научитесь проводить бенчмаркинг-тесты для анализа производительности системы.
Поддержка работоспособности кластера и траблшутинга
Научитесь выполнять балансировку нагрузки в кластере. Узнаете, как производить обновление версии для кластера и клиентов. Познакомитесь с полезными утилитами, которые помогут вам в поиске источников проблемы в системе. Ознакомитесь с реальными примерами сбоев в работе с данными.
Научитесь выполнять балансировку нагрузки в кластере.
Узнаете, как производить обновление версии для кластера и клиентов.
Познакомитесь с полезными утилитами, которые помогут вам в поиске источников проблемы в системе.
Ознакомитесь с реальными примерами сбоев в работе с данными.
Развертывание кластера в проде
Разберётесь, какая конфигурация и архитектура рекомендована для развёртывания кластера. Познакомитесь с практическими примерами использования кластеров Kafka в архитектуре сетей.
Разберётесь, какая конфигурация и архитектура рекомендована для развёртывания кластера.
Познакомитесь с практическими примерами использования кластеров Kafka в архитектуре сетей.
