Attention por dentro
Digite uma frase e veja os pesos de attention com máscara causal, calculados no seu navegador.
Cada linha mostra para onde uma palavra "olha" ao montar a própria representação: softmax(QKᵀ/√d + M). Com a máscara causal, cada palavra só vê as anteriores, como num modelo que gera texto. Os pesos aqui são aleatórios (não é um modelo treinado); o que importa é o mecanismo.