Глоссарий
LoRA
Также: Low-Rank Adaptation
Дешёвый способ дообучения: веса модели не меняются, а рядом обучаются небольшие матрицы низкого ранга. По данным авторов, для GPT-3 обучаемых параметров становится в 10 000 раз меньше.
Пример
Открытую модель дообучают под формат ответов компании на одной видеокарте, обучая только LoRA-адаптер, а базовая модель остаётся прежней.
Связанные термины
Источник
Hu et al. — LoRA: Low-Rank Adaptation of Large Language Models (2021)