Тодд Палино

  • Владиславhas quoted2 years ago
    Смещение (offset) (непрерывно возрастающее целочисленное значение) — еще один элемент метаданных, который Kafka добавляет в каждое сообщение при генерации
  • Владиславhas quoted2 years ago
    Брокеры и кластеры
    Отдельный сервер Kafka называется брокером (broker). Брокер получает сообщения от производителей, присваивает им смещения и отправляет их в дисковое хранилище
  • Владиславhas quoted2 years ago
    Брокеры Kafka предназначены для работы в составе кластера (cluster). Один из брокеров кластера функционирует в качестве контроллера (cluster controller). Контроллер кластера выбирается автоматически из числа работающих членов кластера. Контроллер отвечает за административные операции, включая распределение разделов по брокерам и мониторинг отказов последних. Каждый раздел принадлежит одному из брокеров кластера, который называется его ведущим (leader). Раздел можно назначить нескольким брокерам, в результате чего произойдет ее репликация (рис. 1.7). Это обеспечивает избыточность сообщений в разделе, так что в случае сбоя ведущего другой брокер сможет занять его место.
fb2epub
Drag & drop your files (not more than 5 at once)