Surveiller les topics Kafka

Cet outil offre une visibilité en temps réel sur les topics Kafka à travers les clusters. Il collecte le débit par topic, le lag des consommateurs, la santé des partitions et l'état des brokers pour aider les opérateurs et les développeurs à évaluer les pipelines de streaming. Les sources de données incluent les métriques du broker via JMX ou points de métrique et les statistiques côté client des producers/consumers, fusionnées en vues temporelles avec une latence cohérente. Il prend en charge des filtres par cluster, topic et groupe de consommateurs pour un périmètre précis. Conception: le débit par topic (messages par seconde), le lag par groupes de consommateurs et la santé des partitions; les résultats peuvent être agrégés par topic ou par cluster. Il utilise des fenêtres glissantes (par ex. 1m, 5m) et peut comparer des périodes historiques pour identifier des tendances. Une détection d'anomalies simple signale les pics ou les écarts par rapport à la ligne de base, et des indicateurs basés sur les percentiles réduisent le bruit. En cas de configurations multi-clusters, les horodatages et identifiants de cluster sont normalisés. La valeur unique réside dans un faible effort de configuration, des paramètres par défaut raisonnables et des sorties structurées qui s'intègrent aux systèmes d'incidents. Fonctions clés: collecte métrique en temps réel, tableaux de bord par topic, analyse du lag, santé des partitions, seuils d'alerte et export CSV/JSON. Cas d'usage: surveillance de production, planification de capacité, analyse d'incidents et revues post-incident; adapté aux ingénieurs data, SRE et équipes de plateforme qui gèrent des pipelines de streaming.