Весь глоссарий

Глоссарий

Трансформер

Также: transformer

Архитектура нейросети, на которой построены современные LLM. Обрабатывает последовательность токенов через слои механизма внимания, без рекуррентных и свёрточных сетей.

Пример

Буква T в GPT — это Transformer. Архитектуру описали в 2017 году в статье «Attention Is All You Need».

Связанные термины

Источник