Глоссарий
Инференс
Также: inference · вывод модели
Использование уже обученной модели: на вход запрос, на выход ответ. За инференс платят по токенам, от него зависят задержка и стоимость агента.
Пример
Каждый шаг агентного цикла — отдельный инференс, поэтому агент тратит токенов в разы больше, чем один запрос в чате.