Kafka Web UI Tool

מטרת השימוש: הכלי מספק ניהול אשכול Kafka מבוסס דפדפן למפתחים, אנשי תפעול ומהנדסי נתונים. הוא פותר את בעיית ניהול נושאים, קבוצות צרכנים ותהליכי נתונים בסיסיים ללא כלים מותקנים. מקרי שימוש כוללים אימות הגדרות נושאים, בדיקת lag צרכנים והצעת נושאים בסביבות staging או production כאשר נדרש שקיפות ושליטה על מספר אשכולות. המשתמשים היעודיים הם צוותי פלטפורמה, SRE ומהנדסי נתונים שדורשים תובנה תפעולית וניהול נ_topics בטוח בביצועים של נתונים.
לוגיקה מרכזית ותכונות: תכונות חובה כוללות גילוי אשכול באמצעות bootstrap-servers, שאיבת מטה-נתונים עבור ברוקר, נושאים וקבוצות, ופעולות מחזור חיים של נושאים (יצור, שינוי, מחיקה) עם ניהול קונפיג בסיסי. תכונות אופציונליות/מתקדמות כוללות פעולות ACL, איגוד רב-אשכולי, ניתוח lag לפי חלוקה, בדיקות זרימה מקצה-אל-קצה וייצוא JSON של תוצאות. הכלי משתמש ב-Kafka AdminClient, אוסף offsets סופיים ומחשב lag כ-end_offset - committed_offset לכל חלוקה, ומאגד לפי נושא. הוא מבצע אימות לפי כללי שם Kafka וכיבוד RBAC כאשר נתוני אימות מסופקים.
קלטים ופלטים: כניסות כוללות bootstrap_servers (מחרוזת), security_protocol (מחרוזת), sasl_mechanisms (מחרוזת, אופציונלי), sasl_username (מחרוזת), sasl_password (מחרוזת, אופציונלי), topic_name (מחרוזת), partitions (שלם), replication_factor (שלם), operation (מחרוזת), config_overrides (מפת מפתחות-ערכים). פלטים כוללים רשימת topics, consumer_groups, lag_metrics, topic_configs ו-JSON שניתן לייצוא. הפלט מוצג כדאטה מובנית לכל topic ולכל קבוצת צרכנים, עם שדות מספריים ביחידות סטנדרטיות (offsets, lag, throughput).
אלגוריתמים וחישובים: משתמש ב-AdminClient לאיסוף מטה-נתונים; מחשב lag לכל חלוקה כ- high_watermark minus committed_offset; מאגר ברמת-topic עם lag מקסימלי ולג ממוצע; משתמש ב-end_offsets() עבור כל חלוקה; מבצע, לבקשה, בדיקת זרימה קטנה עם יצרן/צורכן כדי לאמת את התפקוד.
שגיאות ומקרי קצה: מטפל בכתובות bootstrapServers שגויות, שגיאות אימות, שמות topics חסרים, פעולות שאינן נתמכות והרשאות לא מספקות; מתחשב בשוני גרסאות הקלאסטר; מדווח על שגיאות בצורה מובנית ללא השפעות צד).
תעשייה/אזור ולוקליזציה: יחידות מדידה הן מונים ואופס, זמנים ב- ms; תומך בקלסטרים ברחבי אזורים; תגים של זמן בתצורה סטנדרטית; אין מטבע; תהליך הלוקליזציה focusing על תצוגת מספרים ואזורי זמן ככל שניתן.