Kafka Web UI Tool

Propósito e Intenção do Usuário: Esta ferramenta fornece gerenciamento de cluster Kafka baseado no navegador para desenvolvedores, operadores e engenheiros de dados. Resolve o problema de administrar tópicos, grupos de consumidores e fluxos de dados básicos sem ferramentas locais. Casos de uso incluem validação de configurações de tópicos, inspeção de lag de consumidores e provisionamento de tópicos em ambientes de staging ou produção quando é necessária visibilidade e controle sobre vários clusters. Os usuários pretendidos são equipes de plataforma, SRE e engenheiros de dados que exigem visão operacional e gerenciamento seguro de tópicos em pipelines de streaming distribuídos.
Lógica central & funcionalidades: Funções obrigatórias incluem descoberta de cluster via bootstrap servers, recuperação de metadados para brokers, topics e grupos, e operações de ciclo de vida de topics (criar, alterar, excluir) com gestão básica de configs. Funções opcionais/avançadas incluem operações compatíveis com ACL, agregação multi-cluster, análise de lag por partição, testes de fluxo end-to-end e exportação JSON de resultados. A ferramenta usa as APIs AdminClient de Kafka, obtém offsets finais e calcula lag como end_offset - committed_offset por partição, agregando por tópico. Aplica validação conforme as regras de nomenclatura de Kafka e respeita RBAC do cluster quando credenciais são fornecidas.
Entradas & Saídas: Entradas: bootstrap_servers (string), security_protocol (string), sasl_mechanisms (string, opcional), sasl_username (string), sasl_password (string, opcional), topic_name (string), partitions (inteiro), replication_factor (inteiro), operation (string), config_overrides (mapa chave-valor). Saídas: lista de topics, consumer_groups, lag_metrics, topic_configs e JSON exportável. As saídas são apresentadas por topic e por grupo, com campos numéricos em unidades padrão (offsets, lag, throughput).
Algoritmos & Cálculos: usa AdminClient para obter metadados; calcula lag por partition como high_watermark - committed_offset; agrega por topic com lag máximo e lag médio; usa end_offsets() para cada partition; realiza, se solicitado, um pequeno teste de fluxo com produtor/ consumidor para validar o caminho.
Erros & Casos limites: Gerencia bootstrap_servers inválidos, falhas de autenticação, nomes de topics ausentes, operações não suportadas e permissões insuficientes; gerencia diferenças entre versões do cluster; reporta erros de forma estruturada sem efeitos colaterais.
Indústria/Região & Localização: Unidades são contagens e offsets; tempos em ms; suporta clusters em diferentes regiões; carimbos de tempo em formato padrão; sem moeda; localização foca em formatação numérica e fusos horários onde suportado.