🧠 Self-Attention
Esploratore della Scaled Dot-Product Attention
Descrizione
Nei Transformer, ogni parola di una frase decide quanto “guardare” le altre per costruire il proprio significato. Questo meccanismo si chiama self-attention ed è alla base dei modelli linguistici moderni.
L’app mostra il calcolo passo per passo con la formula
Attention(Q, K, V) = softmax(Q·Kᵀ / (s·√d_k)) · V
dove s è un fattore di scala (1 corrisponde alla formula standard).
Cosa si può fare
- Scrivere una frase o usare uno dei tre esempi preimpostati, come la disambiguazione di un pronome.
- Leggere il grafo Query → Key: passando sopra o toccando un token, le linee verso gli altri token hanno spessore e opacità proporzionali al peso di attenzione.
- Esaminare la matrice dei pesi, con i valori esatti, prima e dopo la softmax.
- Variare il fattore di scala e osservare come la distribuzione diventa più piatta (quasi uniforme) o più appuntita (quasi un argmax).
- Seguire i vettori Q, K e V di ogni token e l’output della media pesata.
Il modello
- Ogni token ha vettori Q, K e V a 4 dimensioni, di cui una parte deriva dall’hash della parola (sempre gli stessi numeri) e una parte da indizi semantici scritti a mano, ad esempio “ha” e “lui” cercano un soggetto animato come “gatto”.
- La frase viene spezzata in parole e segni di punteggiatura; al massimo 12 token.
Limiti. Gli embedding sono simulati, non appresi da alcun modello: l’app serve a vedere il meccanismo, non a misurare come un Transformer reale capisce il linguaggio. La risoluzione di un pronome qui dipende dagli indizi scritti a mano, non dal significato.
Sperimenta l’app sul desktop virtuale aprendo l’icona 🧠 Self-Attention dal gruppo Mini Apps.