tf encoder layer

Esta herramienta analiza una configuración de capa de codificador Transformer utilizada en modelos de TensorFlow. Calcula salidas clave como el conteo total de parámetros, la distribución de parámetros por componente (proyecciones QKV, proyección de salida, FFN) y las formas resultantes de la secuencia a través de la capa. Conceptualmente, un bloque de codificador consta de atención multi-cabeza, seguida de una red feed-forward y normalización de capa; la herramienta formula estos pasos en unidades calculables. Los practicantes pueden experimentar con la dimensión de incrustación (E), el número de cabezas de atención (H), la dimensión FF (FF) y sesgos opcionales para evaluar el tamaño del modelo y el coste de cómputo. Por ejemplo: con E=512, H=8, FF=2048 y proyecciones sin sesgos, la proyección QKV aporta aproximadamente 3*E*E parámetros, la proyección de salida suma E*E, y FFN contiene E*FF y FF*E parámetros, más sesgos si están activos. La herramienta resume estos por capa y por modelo. Esto apoya decisiones de diseño para despliegue, comparaciones de investigación y planificación de recursos. También informa de formas de salida (batch, seq_len, E) y estimaciones básicas de FLOPs cuando procede, para optimizar y escalar. El valor único reside en una descomposición transparente basada en fórmulas, específica para bloques de codificador, que permite análisis rápidos de tipo “qué pasaría si” y estimaciones de tamaño verificables para arquitecturas Transformer basadas en TF.