tf encoder layer

Questo strumento analizza una configurazione di strato encoder Transformer utilizzata nei modelli TensorFlow. Calcola uscite chiave come numero totale di parametri, distribuzione dei parametri per componente (proiezioni QKV, proiezione di output, FFN) e le forme risultanti della sequenza attraverso lo strato. Concettualmente, un blocco encoder è composto da attenzione multi-testa su sé stessi seguita da un feed-forward e da una normalizzazione di strato; lo strumento rende queste fasi in unità calcolabili. I praticanti possono sperimentare con la dimensione di embedding (E), numero di teste di attenzione (H), dimensione FF (FF) e bias opzionali per valutare le dimensioni del modello e il consumo di calcolo. Ad esempio: con E=512, H=8, FF=2048 e proiezioni senza bias, la proiezione QKV contribuisce circa 3*E*E parametri, la proiezione di output aggiunge E*E, e FFN comprende E*FF e FF*E parametri, più bias se attivi. Lo strumento somma queste cifre per strato e per modello. Supporta decisioni di progettazione per deployment, confronti di ricerca e pianificazione delle risorse. Riporta anche forme di output (batch, seq_len, E) e stime FLOPs di base dove pertinenti, per ottimizzazione e scalabilità. Il valore unico risiede in una ripartizione trasparente, basata su formule, specifica per blocchi encoder, che consente analisi rapide e stime di grandezza verificabili per architetture Transformer basate su TF.