Глоссарий
Предобучение
Также: pre-training · pretraining
Первый и самый дорогой этап обучения модели: она учится предсказывать следующий токен на огромном корпусе текстов и так получает общие знания о языке и мире.
Пример
После предобучения модель продолжает текст, но плохо следует инструкциям. Ассистентом её делают дообучение и RLHF.