Lexical Analyzer Generator

Conçu pour les chaînes d’outillage linguistiques, cet outil convertit un ensemble formel de règles de jetons en un lexer utilisable dans le langage de programmation choisi. Il documente les priorités des jetons, résout les conflits par la règle de plus longue correspondance et produit un squelette de scanner prêt à l’emploi avec une table de jetons. Conception: il construit un NFA à partir de chaque regex, le convertit en DFA et émet du code source spécifique au langage avec un flux de tokens propre. Bénéficiaires: équipes de compilateurs, chercheurs en langage et laboratoires d’enseignement nécessitant des lexers reproductibles. Fonctions clés englobent les pipelines Regex→Lexer obligatoires; options avancées ajoutent états lexicaux, gestion Unicode et hooks d’action. Sorties: le code généré, token_definitions et un test_report démontrant la tokenisation sur un échantillon d’entrée. L’outil privilégie fiabilité, transparence des règles et intégration facile dans les chaînes existantes. Valeur Ajoutée: gestion explicite des priorités, métadonnées claires des jetons et modèles de sortie multi-langues qui réduisent le boilerplate. Cas d’usage typiques: tokenisation de fichiers source, prétraitement dans les compilateurs et enseignement des concepts de tokenisation. L’approche est conceptuellement indépendante de la langue, mais produit du code concret pour la langue cible, facilitant l’itération rapide et la vérification.