Kafka Web UI Tool

Objectif et intention d'utilisation: Cet outil fournit une gestion du cluster Kafka via navigateur pour les développeurs, opérateurs et ingénieurs data. Il résout le problème de l'administration des topics, des groupes de consommateurs et des flux de données de base sans outils locaux. Les cas d'utilisation incluent la validation des configurations des topics, l'inspection du lag des consommateurs et la fourniture de topics dans des environnements de staging ou de production lorsque vous avez besoin de visibilité et de contrôle sur plusieurs clusters. Les utilisateurs visés sont les équipes plateforme, les SRE et les ingénieurs data qui exigent une vue opérationnelle et une gestion sûre des topics dans des pipelines de streaming distribués.
Logique centrale & fonctionnalités: Les fonctionnalités requises incluent la découverte de cluster via bootstrap servers, la récupération de métadonnées pour les brokers, topics et groupes de consommateurs, et les opérations sur le cycle de vie des topics (créer, modifier, supprimer) avec une gestion basique des configs. Les options avancées incluent les opérations ACL, l’agrégation multi-cluster, l’analyse de lag par partition, les tests de flux end-to-end et l’export JSON des résultats. L’outil utilise les APIs AdminClient de Kafka, récupère les offsets finaux et calcule le lag comme end_offset - committed_offset par partition, puis agrège par topic. Il applique une validation selon les règles de nommage Kafka et respecte le RBAC du cluster lorsque les identifiants sont fournis.
Entrées et sorties: Entrées: bootstrap_servers (chaîne), security_protocol (chaîne), sasl_mechanisms (chaîne, optionnel), sasl_username (chaîne), sasl_password (optionnel), topic_name (chaîne), partitions (entier), replication_factor (entier), operation (chaîne), config_overrides (carte clé-valeur). Sorties: liste topics, consumer_groups, lag_metrics, topic_configs et JSON exportable. Les sorties sont présentées par topic et par groupe, avec champs numériques en unités standard (offsets, lag, throughput).
Algorithmes et calculs: Utilise AdminClient pour récupérer les métadonnées; calcule le lag par partition comme high_watermark - committed_offset; agrège par topic avec lag maximal et lag moyen; utilise end_offsets() pour chaque partition; applique un test de flux léger sur demande pour valider le chemin.
Erreurs et cas limites: Gère bootstrap_servers invalides, échecs d’authentification, noms de topics manquants, opérations non supportées, permissions insuffisantes; gère les versions du cluster; signale les erreurs de manière structurée sans effets secondaires.
Branche/Région & Localisation: Unités sont des compteurs et offsets; temps en ms; prend en charge les clusters à travers différentes régions; horodatages au format standard; pas de devise; localisation axée sur le format numérique et les fuseaux horaires lorsque pris en charge.