🧠 Self-Attention

Esploratore della Scaled Dot-Product Attention

← Torna alla Home


Descrizione

Nei Transformer, ogni parola di una frase decide quanto “guardare” le altre per costruire il proprio significato. Questo meccanismo si chiama self-attention ed è alla base dei modelli linguistici moderni.

L’app mostra il calcolo passo per passo con la formula

Attention(Q, K, V) = softmax(Q·Kᵀ / (s·√d_k)) · V

dove s è un fattore di scala (1 corrisponde alla formula standard).

Cosa si può fare

Il modello

Limiti. Gli embedding sono simulati, non appresi da alcun modello: l’app serve a vedere il meccanismo, non a misurare come un Transformer reale capisce il linguaggio. La risoluzione di un pronome qui dipende dagli indizi scritti a mano, non dal significato.


Sperimenta l’app sul desktop virtuale aprendo l’icona 🧠 Self-Attention dal gruppo Mini Apps.