День 6. Два галлюцинированных препарата из прошлой среды — всё ещё открытая рана в этом проекте. Ты написал eval (Гл1), починил контекст (Гл2), выставил уровень рассуждений (Гл3), подобрал примеры (Гл4), ужесточил схему вывода (Гл5). Юристы дали добро на возобновление пилота — но только если сегодняшний промпт плюс защиты удержат частоту галлюцинаций ниже 1% на eval-сете, с нулём придуманных доз. Сегодня ты перестаёшь надеяться на «не выдумывай» и начинаешь называть защиты поимённо: принудительные цитаты, бюджет «не знаю», который модель обязана тратить, верификатор в рантайме, который реально срабатывает, и иерархия отказов, выдерживающая red-team. Агент будет лгать, если ты его пустишь. Ты не пустишь.
Чему ты научишься
- Назови три режима сбоя, породивших галлюцинацию в прошлую среду — галлюцинацию, sycophancy, преждевременную уверенность — и защиту, бьющую по каждому
- Загони модель в отказ от факта, которого нет в источнике, с помощью верификатора, который можно прогрепать
- Выбери cite-or-refuse поверх мягких альтернатив и обоснуй эмпирически
- Прочитай два варианта промпта и выбери тот, у которого частота галлюцинаций доказуемо ниже
- Выдержи 5-попытный red-team против закалённого системного промпта медицинского скрайба, не слив ни одной дозы
- Напиши adversarial eval-сет, отличающий cite-or-refuse от косметического языка безопасности
- Запусти спека-линтер на папке агента «будь уверен» и назови ключевую слабость
Твоё первое задание
Доза, которой не было.
9:02 утра. Юрист Рената сидит за столом с распечаткой карты из прошлой среды. Ты прогоняешь промпт-кандидат v4 против held-out транскрипта, который она вытащила с eval-стенда. Матео наблюдает через плечо. Модель выдаёт резюме за 1.1 секунды. Выглядит отлично. Читай так, как будет читать Рената.
Что предстоит ответить
Прочитай сессию ниже. Какой один диагноз ты ставишь поведению модели?
Бесплатно · без карты · сохраним прогресс
Сохрани прогресс и получи сертификат
Ты увидел начало — продолжай бесплатно. 7 заданий · авто-проверка · закончи за 80 мин, и сертификат твой. Бесплатно навсегда · без карты.
Без пароля. Чтобы войти с телефона, запроси код на почту на странице входа.
Уже начинал? Войди по коду из письма