Глоссарий
Механизм внимания
Также: attention · self-attention
Механизм, с помощью которого модель для каждого токена решает, на какие другие токены в контексте опираться и с каким весом. Основа трансформера.
Пример
В фразе «агент запустил тесты, и они упали» внимание связывает «они» с «тесты». На длинном контексте внимание распыляется — отсюда деградация контекста.