Transformers Décodeurs

L’outil propose une approche structurée et indépendante du modèle pour interpréter la façon dont les décodeurs Transformer traitent les tokens, en exposant les distributions d’attention et les interactions token-à-token.
Conception: le système reçoit le type de modèle, la séquence d’entrée et la configuration, calcule l’attention et, le cas échéant, la pertinence basée sur les gradients, et présente des résumés par couche et par tête avec les chemins décodés.
Bénéficiaires: chercheurs, ingénieurs ML et équipes QA cherchant transparence, reproductibilité et insights de débogage pour les systèmes basés sur Transformer. Valeur unique: focus sur les parcours centrés sur le décodeur, cross-attention entre encodeur et décodeur et rapports d’interprétabilité exportables.
Fonctions clés: extraction de matrices d’attention, résumés par tête, mappages de tokens, scores de chemin et export de rapports. Cas d’utilisation: audit de modèles, analyse d’échec et recherche sur les comportements d’attention à travers les architectures.