Decoder Layer PyTorch

But et utilisation : cet outil analyse une couche décodeur PyTorch pour exposer la dimensionnalité exacte, le compte des paramètres et les caractéristiques d'attention. Il s'adresse aux chercheurs ML, ingénieurs de modèles et équipes d'outillage qui conçoivent des décodeurs séquence-à-séquence et des architectures basées sur les transformeurs. En valillant les formes et les budgets tôt, il réduit les risques lors de la mise à l'échelle des modèles ou de la comparaison de configurations variantes.
Fonctionnement conceptuel : les utilisateurs fournissent des hyperparamètres standard du décodeur (d_model, n_heads, d_ff, num_layers) et un éventuel cross-attention. Le système applique des formules canonical Transformer pour dériver les projections Q/K/V, les projections de sortie, les paramètres FFN et les termes LayerNorm. Il agrège ensuite les résultats par couche pour offrir une vue totale et une carte couche par couche. Il signale les incohérences et les goulets d'étranglement potentiels pour une remediation rapide.
Valeur, cas d'utilisation et différenciateurs : l'outil permet une comparaison rapide des choix architecturaux, aidant les équipes à choisir des dimensions qui équilibrent précision, latence et mémoire. Il fournit un budget paramètre précis et l'empreinte mémoire, facilitant une planification axée coût. Les différenciateurs incluent des vérifications dimensionnelles explicites (d_model divisible par n_heads), des hypothèses transparentes et un rapport exportable prêt pour documentation. Il peut aussi s'intégrer dans des flux de planification de modèles pour suivre les modifications entre les expériences.
Fonctionnalités et sorties : comptages de paramètres par couche et totaux, formes pour les projections Q/K/V et FFN, compte des têtes d'attention et estimation du RAM pour les passes forward. Conformité aux conventions PyTorch et intégration possible dans les flux de planification ou les journaux de reproductibilité.