Apache Kafka. Потоковая обработка и анализ данных

Брокеры Kafka предназначены для работы в составе кластера (cluster). Один из брокеров кластера функционирует в качестве контроллера (cluster controller). Контроллер кластера выбирается автоматически из числа работающих членов кластера. Контроллер отвечает за административные операции, включая распределение разделов по брокерам и мониторинг отказов последних. Каждый раздел принадлежит одному из брокеров кластера, который называется его ведущим (leader). Раздел можно назначить нескольким брокерам, в результате чего произойдет ее репликация (рис. 1.7). Это обеспечивает избыточность сообщений в разделе, так что в случае сбоя ведущего другой брокер сможет занять его место.

Брокеры и кластеры
Отдельный сервер Kafka называется брокером (broker). Брокер получает сообщения от производителей, присваивает им смещения и отправляет их в дисковое хранилище

Смещение (offset) (непрерывно возрастающее целочисленное значение) — еще один элемент метаданных, который Kafka добавляет в каждое сообщение при генерации

производители не должно волновать то, какие приложения потребляют данные и сколько их.

Знаменитая утилита Chaos Monkey компании Netflix, вызывающая аварийные сбои в случайные моменты времени