Validateur Avro en ligne

But et fonctionnement: Le Validateur Avro en ligne analyse les schémas Avro et les données JSON, vérifie la structure et la conformité des types. Il prend en charge les types complexes tels que les enregistrements, les tableaux, les cartes et les Unions, y compris les champs optionnels et les types logiques (date, timestamp, decimal). Le outil peut fonctionner en trois modes: validation de schéma uniquement pour vérifier la syntaxe, validation des données par rapport à un schéma donné et vérifications de compatibilité pour Writer/Reader. Il fournit des messages d’erreur détaillés avec les chemins des champs, les types attendus versus réels et des suggestions de remédiation, afin que les développeurs corrigent les problèmes avant l’ingestion ou la sérialisation. En se concentrant sur l’exactitude du schéma et des données, les équipes réduisent les pannes dans les flux de données, les jobs ETL par lot et les couches de stockage. Fonctionnement: les utilisateurs fournissent un schéma Avro JSON et un ou plusieurs enregistrements JSON. Le validateur analyse le JSON, applique récursivement le système de types Avro et signale les écarts tels que les champs obligatoires manquants, les déviations de type ou les résolutions d’Unions incorrectes. En mode compatibilité, il applique les règles Writer/Reader pour déterminer si un nouveau schéma peut évoluer en sécurité à partir d’un schéma précédent. Il est axé sur les données: il n’effectue pas de sérialisation binaire ni de traitement de données; il vérifie uniquement que les charges utiles respectent le schéma déclaré. Cas d’utilisation: validation de conception de schéma, onboarding de données, évaluation des migrations et contrôles pré-ingest pour les services de streaming. L’outil fournit des objets d’erreur structurés qui peuvent être consommés par les pipelines CI/CD ou les registres de métadonnées et peut exporter les résultats pour des audits. La valeur unique réside dans des diagnostics clairs et exploitables et le support de fonctionnalités Avro avancées telles que les types logiques et les schémas imbriqués complexes.