AI-мастерская
Эпизод 7 из 10Впереди
Harness: агент под контролем
Что такое harness, eval-проверки, тесты, хуки и песочница — собираем контур, внутри которого агенту можно доверять.
Ссылка придёт на почту за час до эфира
Запишись — за сутки пришлём напоминание с планом эпизода, а за час до начала ссылку на трансляцию. Плеер появится на этой странице за 15 минут до старта.
Что покажем
- Что такое harness простыми словами: всё вокруг модели — инструменты, права, проверки, память
- Хуки: автоматический линтер и typecheck после каждой правки агента
- Тесты как критерий готовности: агент не может сказать «готово», пока они красные
- Песочница и dev-контейнер: где агенту можно всё, а где — ничего
- Eval-набор: 10 типичных задач проекта, по которым видно, стало лучше или хуже после смены модели или промпта
Что унесёшь
Свой минимальный harness: хуки, тесты, песочница и eval-набор на 10 задач.
Чек-лист минимального harness
- CLAUDE.md/AGENTS.md описывает, как проверить работу (команды тестов и typecheck)
- Хук после правки файла запускает линтер/форматтер; хук перед коммитом — тесты
- Агент работает в песочнице или dev-контейнере без прод-доступов
- Опасные команды требуют подтверждения; список разрешённых — в настройках проекта
- Есть eval-набор: 10 задач с ожидаемым результатом, прогон после смены модели или промпта
- Результаты прогонов записываются — видно тренд, а не одно впечатление
- Долгие задачи ведутся через файл прогресса: агент записывает, что сделано и что дальше
Harness в этом эпизоде
Это эпизод про сам harness. Во всех остальных эпизодах есть блок «Harness в этом эпизоде» — какой слой контура мы добавили.
Что подготовить
- Проект с хотя бы одним тестом (если нет — напишем)
- Docker, если хочешь повторить песочницу