Понедельник, 8:47 утра. Ты — новый руководитель по промпт-инженерии в Sentinel, медицинском скрайб-сервисе, который тихо работает примерно в 300 клиниках по всей Америке. Твоя предшественница Дарья хлопнула дверью две недели назад и оставила папку в Notion с промптами под названиями вроде `v3_final_FINAL_works_pls_no_touch.md`. В прошлую среду два транскрипта выдали галлюцинацию — дозу препарата, которую врач никогда не называл. С тех пор юристы сидят у Матео в кабинете каждое утро по часу. У CTO через 5 рабочих дней совет директоров, а CFO хочет дашборд с ценой за транскрипт уже в пятницу. Твой единственный помощник — Кай, джун, который дважды прочитал все доки Anthropic и OpenAI, но по-прежнему не может отличить рабочий промпт от уверенно выглядящего. В ближайшие 60 минут ты сделаешь то, чего Дарья так и не сделала: напишешь eval раньше промпта. Всё остальное в этом курсе построено на том, чтобы ты усвоил этот шаг прямо сейчас.
Чему ты научишься
- Диагностировать сессию с промптом как «нет сигнала» — даже когда модель выглядит уверенно
- Писать eval-набор до написания промпта — с конкретными, проверяемыми кейсами
- Читать diff промпта и находить строку, вызвавшую регрессию с галлюцинацией
- Выбрать структурированный eval-образный промпт вместо красивого «вайбового» — и объяснить почему
- Подобрать уровень рассуждений, который одновременно укладывается в стоимость, задержку и качество
- Прогнать реальный медицинский промпт через spec linter и зафиксировать одно конкретное улучшение
Твоё первое задание
Кай в восторге. Смотри сессию.
Кай пишет тебе в Slack в 8:51: «Кажется, я заставил новый промпт для транскриптов работать — Claude с первого раза написал очень чёткое резюме. Хочешь посмотреть?» Он делится записью своей терминальной сессии. Матео стоит у него за спиной. Ты читаешь внимательно.
Что предстоит ответить
Прочитай сессию Кая ниже. Какой единственный диагноз ты ему ставишь?
Бесплатно · без карты · сохраним прогресс
Сохрани прогресс и получи сертификат
Ты увидел начало — продолжай бесплатно. 7 заданий · авто-проверка · закончи за 60 мин, и сертификат твой. Бесплатно навсегда · без карты · отмена в любой момент.
Пришлём magic-ссылку на почту, чтобы ты мог войти с телефона. Без пароля.
Уже начинал? Войди по магической ссылке