Decoder Layer PyTorch

Propósito e uso: esta ferramenta analisa uma camada decoder PyTorch para expor dimensionalidade exata, contagens de parâmetros e características de atenção. Destina-se a pesquisadores ML, engenheiros de modelos e equipes de ferramentas que desenham decodificadores de sequência para sequência e arquiteturas baseadas em transformer. Ao validar formas e orçamentos cedo, reduz o risco ao dimensionar modelos ou ao comparar variantes.
Como funciona conceitualmente: os usuários fornecem hiperparâmetros padrão do decodificador (d_model, n_heads, d_ff, num_layers) e atenção cruzada opcional. O sistema aplica fórmulas canônicas Transformer para derivar projeções Q/K/V, projeções de saída, parâmetros FFN e termos LayerNorm. Em seguida, agrega os resultados por camada para fornecer uma visão total e um mapa detalhado camada a camada. Também relata inconsistências e gargalos potenciais para remediação rápida.
Valor, casos de uso e diferenciais: a ferramenta permite comparação rápida de opções arquitetônicas, ajudando equipes a escolher dimensões que equilibrem precisão, latência e memória. Ela fornece um orçamento de parâmetros preciso e pegada de memória, facilitando o planejamento com foco em custo. Diferenciadores incluem verificações dimensionais explícitas (d_model divisível por n_heads), suposições transparentes e um relatório pronto para exportação. Pode ser integrada a fluxos de planejamento de modelo para acompanhar mudanças entre experimentos.
Principais recursos e saídas: contagens de parâmetros por camada e total, formas para projeções Q/K/V e FFN, contagem de cabeças de atenção e RAM estimada para passes forward. Em conformidade com as convenções PyTorch e integrável em fluxos de planejamento ou logs de reprodutibilidade.