Kafka Web UI Tool

Zweck & Benutzerabsicht: Dieses Tool bietet browserbasierte Kafka-Cluster-Verwaltung für Entwickler, Operatoren und Data Engineers. Es löst das Problem der Verwaltung von Topics, Consumer Groups und grundlegenden Datenströmen ohne lokale Tools. Anwendungsfälle umfassen Validierung von Topic-Konfigurationen, Überprüfung des Consumer Lag und Bereitstellung von Topics in Staging- oder Produktionsumgebungen, wenn Sichtbarkeit und Kontrolle über mehrere Cluster erforderlich sind. Die vorgesehenen Nutzer sind Plattform-Teams, SREs und Data Engineers, die betriebliche Einsichten und sichere Topic-Verwaltung in verteilten Streaming-Pipelines benötigen.
Kernlogik & Funktionen: Erforderliche Funktionen umfassen Cluster-Erkennung über Bootstrap-Server, Metadatenabfrage für Broker, Topics und Consumer Groups sowie Topic-Lifecycle-Operationen (Create, Alter, Delete) mit grundlegender Config-Verwaltung. Optional/fortgeschrittene Funktionen umfassen ACL-unterstützte Operationen, Multi-Cluster-Aggregation, per-Partition Lag-Analyse, End-to-End Data Flow-Tests und JSON-Export von Ergebnissen. Das Tool verwendet Kafka AdminClient-APIs, holt Endoffsets, berechnet Lag als Endoffset - Committed Offset pro Partition und aggregiert nach Topic. Es erzwingt Validierung gemäß Kafka-Namensregeln und respektiert Cluster-RBAC, wenn Anmeldedaten vorhanden sind.
Eingaben & Ausgaben: Eingaben umfassen bootstrap_servers (string), security_protocol (string), sasl_mechanisms (string, optional), sasl_username (string), sasl_password (string, optional), topic_name (string), partitions (integer), replication_factor (integer), operation (string), config_overrides (key/value map). Ausgaben umfassen Topics-Liste, consumer_groups, lag_metrics, topic_configs und exportierbares JSON. Ausgaben werden als strukturierte Daten pro Topic und pro Gruppe präsentiert, mit numerischen Feldern in Standard-Einheiten (Offsets, Lag, Throughput).
Algorithmen & Berechnungen: Verwendet AdminClient zur Metadaten-Erfassung; berechnet Lag pro Partition als High-Watermark minus committed_offset; aggregiert auf Topic-Ebene mit Max Lag und Average Lag; verwendet end_offsets() pro Partition; führt auf Wunsch einen kleinen Testproduzenten/Verbraucher durch, um den Fluss zu validieren.
Fehler & Randfälle: Behandelt ungültige bootstrap_servers, Authentifizierungsfehler, fehlende Topic-Namen, nicht unterstützte Operationen, unzureichende Berechtigungen; berücksichtigt Versionsunterschiede des Clusters; meldet Fehler strukturiert ohne Nebeneffekte.
Branche/Region & Lokalisierung: Einheiten sind Zählwerte und Offsets; Zeiten in ms; unterstützt Cluster über Regionen hinweg; Zeitstempel in Standardformat; keine Währungsdaten; Lokalisierung fokussiert auf Zahlenformatierung und Zeitzonen, wo unterstützt.