Глоссарий
Квантизация
Также: quantization · квантование
Хранение весов модели с меньшей точностью, например 8 или 4 бита вместо 16. Модель занимает меньше памяти и работает быстрее ценой небольшой потери качества.
Пример
Квантизованную до 4 бит открытую модель запускают локально на ноутбуке, хотя в исходной точности она туда не помещается.