86 lines
8.2 KiB
Markdown
86 lines
8.2 KiB
Markdown
|
# О сервисе
|
|||
|
|
|
|||
|
|
## Назначение сервиса
|
|||
|
|
|
|||
|
|
Данный сервис предназначен для команд, которым требуется надёжный и масштабируемый конвейер данных без необходимости самостоятельно разворачивать и обслуживать инфраструктуру Kafka.
|
|||
|
|
|
|||
|
|
**Apache Kafka** - это распределённая система для потоковой передачи данных в реальном времени. Сервис обеспечивает надёжную и масштабируемую доставку сообщений между компонентами приложений, гарантируя отказоустойчивость и высокую производительность.
|
|||
|
|
|
|||
|
|
В архитектуре современных информационных систем Kafka выполняет роль централизованного конвейера данных: одни сервисы (продюсеры) публикуют сообщения, а другие (консьюмеры) получают эти сообщения по мере необходимости.
|
|||
|
|
|
|||
|
|
## Основные понятия
|
|||
|
|
|
|||
|
|
### Продюсер (Producer)
|
|||
|
|
|
|||
|
|
Программный компонент, который отправляет данные в Kafka. Продюсером может выступать любой сервис, генерирующий события: модуль приложения, система логирования, датчик IoT-устройства.
|
|||
|
|
|
|||
|
|
### Консьюмер (Consumer)
|
|||
|
|
|
|||
|
|
Программный компонент, который получает данные из Kafka. Консьюмер подписывается на интересующие его события и обрабатывает поступающие сообщения.
|
|||
|
|
|
|||
|
|
### Топик (Topic)
|
|||
|
|
|
|||
|
|
Именованный канал для хранения сообщений определённого типа. Топики организуют потоки данных по смыслу: например, "заказы", "ошибки", "события авторизации". Консьюмеры подписываются на один или несколько топиков для получения релевантных данных.
|
|||
|
|
|
|||
|
|
### Партиция (Partition)
|
|||
|
|
|
|||
|
|
Каждый топик разделяется на партиции - логические сегменты, распределяемые между серверами кластера. Партиции обеспечивают параллельную обработку данных: различные части одного топика могут обрабатываться одновременно несколькими консьюмерами.
|
|||
|
|
|
|||
|
|
### Репликация (Replication)
|
|||
|
|
|
|||
|
|
Для обеспечения отказоустойчивости партиции копируются на несколько серверов (брокеров). При выходе одного сервера из строя данные остаются доступными на других узлах кластера.
|
|||
|
|
|
|||
|
|
### Микросервисная архитектура
|
|||
|
|
|
|||
|
|
Kafka является стандартным решением для организации связи между микросервисами. В такой архитектуре сервисы обмениваются событиями асинхронно, что повышает надёжность и масштабируемость системы в целом.
|
|||
|
|
|
|||
|
|
## Преимущества управляемого сервиса
|
|||
|
|
|
|||
|
|
### Администрирование
|
|||
|
|
|
|||
|
|
Клиенту не требуется самостоятельно разворачивать и обслуживать кластер Kafka. Мы берём на себя управление инфраструктурой, обновление версий, масштабирование и поддержку работоспособности.
|
|||
|
|
|
|||
|
|
### Мониторинг
|
|||
|
|
|
|||
|
|
Предоставляются готовые дашборды в Grafana с визуализацией ключевых метрик:
|
|||
|
|
|
|||
|
|
- состояние брокеров;
|
|||
|
|
- нагрузка на кластер;
|
|||
|
|
- настроенная система оповещений о критических событиях;
|
|||
|
|
- заполнение дискового пространства.
|
|||
|
|
### Безопасность
|
|||
|
|
|
|||
|
|
Поддерживается шифрованное подключение к кластеру с использованием SSL/TLS-сертификатов, что гарантирует защиту данных при передаче.
|
|||
|
|
### Экспертная поддержка
|
|||
|
|
|
|||
|
|
Мы обладаем практическим опытом администрирования более 500 кластеров Kafka. Накопленная экспертиза позволяет обеспечивать стабильность работы, своевременно выявлять и устранять потенциальные проблемы, оптимизировать конфигурации под конкретные задачи.
|
|||
|
|
## Тарифные планы
|
|||
|
|
|
|||
|
|
### Base
|
|||
|
|
|
|||
|
|
Тарифный план для тех, кто имеет собственную экспертизу в работе с Kafka и желает самостоятельно управлять объектами верхнего уровня.
|
|||
|
|
|
|||
|
|
**Обязательства провайдера:**
|
|||
|
|
- поддержка инсталляции кластера;
|
|||
|
|
- своевременное обновление версий Kafka;
|
|||
|
|
- расширение вычислительных ресурсов кластера по запросу клиента.
|
|||
|
|
|
|||
|
|
**Возможности:**
|
|||
|
|
- **Управление учетными записями и правами доступа** - создание пользователей и настройка их прав для работы с Kafka;
|
|||
|
|
- **Администрирование топиков** - полный цикл управления: создание, конфигурирование, настройка параметров и удаление;
|
|||
|
|
- **Управление консьюмер-группами (Consumer Groups)** - возможность создавать, изменять и удалять логические объединения консьюмеров, которые совместно читают сообщения из топиков. Это обеспечивает высокую производительность и отказоустойчивость при обработке данных;
|
|||
|
|
- **Работа с transactional ID** - полный цикл управления транзакционными идентификаторами (создание, изменение, удаление). Транзакционный идентификатор присваивается продюсеру Kafka для обеспечения атомарности операций: запись нескольких сообщений или коммит оффсетов выполняются по принципу "всё или ничего", а также предотвращается появление "зомби-продюсеров" при перезапусках.
|
|||
|
|
|
|||
|
|
Инфраструктурное ядро кластера (брокеры, репликация, отказоустойчивость) остаётся под управлением провайдера.
|
|||
|
|
|
|||
|
|
### Full
|
|||
|
|
|
|||
|
|
Тарифный план для тех, кто предпочитает полностью делегировать задачи по администрированию Kafka.
|
|||
|
|
|
|||
|
|
**Обязательства провайдера:**
|
|||
|
|
- полное управление кластером;
|
|||
|
|
- администрирование топиков;
|
|||
|
|
- управление консьюмер-группами;
|
|||
|
|
- работа с transactional id.
|
|||
|
|
|
|||
|
|
Kafka используется как готовый сервис, не вовлекаясь в вопросы настройки и обслуживания.
|