Decoder Layer PyTorch

Propósito y uso: esta herramienta analiza una capa de decodificador PyTorch para exponer dimensionalidad exacta, conteo de parámetros y características de atención. Está dirigida a investigadores ML, ingenieros de modelos y equipos de herramientas que diseñan decodificadores secuencia-a-secuencia y arquitecturas basadas en transformadores. Al validar formas y presupuestos temprano, se reduce el riesgo al escalar modelos o al comparar configuraciones variantes.
Cómo funciona conceptualmente: los usuarios proporcionan hiperparámetros estándar del decodificador (d_model, n_heads, d_ff, num_layers) y atención cruzada opcional. El sistema aplica fórmulas canónicas de Transformer para derivar proyecciones Q/K/V, proyecciones de salida, parámetros FFN y términos de LayerNorm. Luego agrega los resultados por capa para ofrecer una vista total y un mapa detallado capa por capa. También reporta inconsistencias y cuellos de botella potenciales para una remediación rápida.
Valor, casos de uso y diferenciadores: la herramienta admite comparaciones rápidas de opciones arquitectónicas, ayudando a equipos a seleccionar dimensiones que equilibran precisión, latencia y memoria. Genera un presupuesto de parámetros preciso y la huella de memoria, facilitando una planificación orientada a costos. Los diferenciadores incluyen comprobaciones de dimensiones explícitas (d_model divisible por n_heads), supuestos transparentes y un informe exportable para documentación. Puede integrarse en flujos de planificación de modelos para rastrear cambios entre experimentos.
Funciones clave y salidas: recuentos de parámetros por capa y totales, formas para proyecciones Q/K/V y FFN, conteo de cabezas de atención y RAM estimada para pases hacia adelante. Cumple con las convenciones de PyTorch e integrable en flujos de planificación o registros de reproducibilidad.