Viewer Tokenscript

Conçu pour les ingénieurs Tokenscript et les vérificateurs de sécurité, cet outil analyse les sources Tokenscript afin d’extraire les définitions, règles et références des tokens. Il effectue une tokenisation lexicale, analyse la grammaire Tokenscript et construit une représentation interne accessible des tokens et de leurs relations. La sortie comprend une cartographie des tokens, des erreurs de syntaxe avec localisation et des métriques de performance adaptées à l’automatisation. Conceptuellement, il sépare le texte brut en tokens, valide les contraintes structurelles et annote les définitions avec des types et des dépendances. Il permet des contrôles rapides pour les petits scripts et des inspections approfondies pour les modules plus grands. L’outil différencie les tokens obligatoires des extensions optionnelles et peut signaler les constructions ambiguës ou les définitions conflictuelles. Des cas d’usage incluent les contrôles pré-commit, les validations CI et les rapports d’audit pour les applications basées sur les tokens. La valeur unique réside dans des sorties structurées et lisibles par machine qui s’intègrent dans les pipelines d’outils, ainsi qu’un parsing dialect-aware pour les variantes Tokenscript courantes. Les fonctionnalités clés incluent l’entrée script_text, la validation syntaxique, le mapping des tokens et l’export JSON prêt à l’emploi; des modes d’analyse approfondie optionnels offrent un contexte plus riche, tel que des graphes de référence et des profondeurs d’imbrication. Cet outil s’adresse aux développeurs, auditeurs et intégrateurs de plateformes qui ont besoin d’une validation grammaticale déterministe et d’une localisation d’erreurs claire sans exécution en temps réel. Il privilégie la reproductibilité, gère les scripts volumineux via le traitement par morceaux et respecte les normes UTF-8 pour assurer une cohérence entre les localisations. Utilisable seul ou dans le cadre d’une chaîne de validation plus large, afin d’améliorer l’exactitude et la maintenabilité des applications tokenisées.