Красная папка: как я доучиваю ИИ-агента после запуска

Первые две недели после того, как ИИ-агент ушёл в прод для отдела продаж, — самое нервное время. Клиент уже пустил живой трафик, менеджеры в шоке, что их работу делает не человек, а на почту сыплются сообщения «опять он сказал чушь». Хочется сразу открыть код и всё починить. Я через это прошёл и понял: если править каждую жалобу сразу, через месяц агент начнёт работать хуже, чем в день запуска.

Расскажу, как я перестал дёргаться на каждую ошибку и выстроил нормальное обучение уже после того, как агент вышел в бой. Главным инструментом стала не платформа и не метрика, а обычная папка, куда я складываю все спорные ответы.

Первый подход: править всё сразу

Когда я только начинал делать ИИ-агентов под клиентов, схема была простой: агент живёт — получаю фидбек — правлю промпт. Менеджер жалуется на скидку — открываю шаблон, добавляю строчку «проверяй условия акции», деплою.

Через неделю таких строчек в системном промпте уже двадцать. Ещё через неделю агент начинает чудить на задачах, которые раньше решал чисто. Чиним одно — ломаем другое. Регресс проверить нечем: тесты формальные, а живой трафик каждый день новый.

Плюс половина жалоб при разборе оказывалась не ошибкой агента, а просто мнением оператора. Кто-то привык отвечать по-другому, кто-то забыл, что регламент поменялся. Правил промпт под одного — портил остальным.

Второй подход: не править, а собирать

Тогда я поменял правила. Любая жалоба, любой флажок «не то», любой ручной откат — всё летит в одну папку. В первые сутки правлю только совсем очевидные косяки типа «агент упал» или «слил данные не тому». Остальное копится.

Раз в неделю собираюсь на разбор. Полтора часа, я плюс человек от заказчика, который реально знает, как должно быть. Открываем папку и раскладываем по кучкам:

• реальная ошибка агента;
• устаревшие данные в базе;
• просто разное видение с оператором;
• граничный случай, под который вообще ничего не заточено.

После такой сортировки уже понятно, что трогать. Промпт меняю только под первые и третьи случаи, и то если их набралось заметно. Базу правлю под вторые. Четвёртые отправляю в бэклог.

Как папка стала датасетом

Через пару месяцев таких разобранных кейсов накопилось прилично. И тут выяснилось, что папка сама превратилась в ту самую обучающую выборку, которую обычно собирают отдельно и за отдельные деньги.

Каждый пример уже размечен: вопрос, ответ агента, правильный вариант, комментарий. Идеальные пары «вход — выход». Я начал использовать их в трёх местах.

Регрессионные тесты. Перед каждым релизом прогоняю агента по последним разобранным случаям через простой FastAPI-скрипт и смотрю диффы в панельке.

Few-shot примеры. Для сложных категорий подкладываю в контекст два-три реальных диалога — качество растёт без всякого дообучения.

Полноценное дообучение. Когда примеров хватает, доучиваю модель на GigaChat Pro. У одного клиента откатил промпт до короткой рамки, а нужные привычки остались в весах. Агент стал короче и стабильнее.

Что изменилось

Раньше после запуска я месяц сидел в аврале правок, а качество мерил по количеству жалоб. Сейчас первая неделя — только сбор. Со второй — точечные правки, но уже осмысленные. К концу квартала у клиента не просто работающий агент, а живой архив его ошибок.

Главное: разработка ИИ-агента перестала быть проектом с датой сдачи. Это теперь процесс, где запуск — только начало. Вопрос перед стартом уже не «какая модель круче», а «кто у меня будет каждую неделю открывать красную папку».