Почему «лучшие» из обзоров не работают
Ко мне пришёл заказчик — крупный поставщик техники для строителей. В отделе восемь человек, и все утопают в одинаковых вопросах: где заказ, почему не то пришло, где акт. Директор сказал просто: «Возьмите лучшего агента из рейтинга и пусть отвечает сам».
Я начал с того, что честно попробовал готовые платформы. Подключил тестовую почту, скормил сотни писем и поставил правило «не уверен — передай человеку». Через неделю агент бодро отвечал не по делу: путал накладные со счетами, «красную накладную» считал чем-то про доставку. Всё потому, что он обучен на среднемировых данных, а тут своя терминология и сокращения.
Яндекс-агент и барьер терминов
Потом взял Яндекс ИИ-агент — заказчик хотел российский контур. Язык получше, интеграции проще. Но он тоже не знал, что «форма от главного» — это акт сверки от финдиректора, а «серый вариант» — параллельный импорт с особой процедурой.
Промпт-шпаргалки на несколько экранов не помогли: агент начинал фантазировать. Стало ясно — без обучения на реальных данных компании ничего не выйдет.
Что я называю обучением
Fine-tuning большой модели — дорого, долго и хрупко. При любом изменении процесса придётся переучивать. Поэтому я делал по-другому: RAG на pgvector, разметка реальных диалогов, словарь внутренних терминов и правила эскалации. Плюс регулярные разборы с менеджером отдела.
С чего началась разработка
Сначала посадил аналитика просто читать переписку две недели. Он выписал 20 типовых сценариев: 15 агент может закрывать сам, 3 — собирать данные и передавать человеку, 2 — не трогать вообще. Модель взял GigaChat Pro, векторный поиск — pgvector, связал с 1С через MCP.
Как доучивали после запуска
Первые два месяца мы каждый день разбирали выборку диалогов. Не правили промпт точечно, а копили ошибки и раз в неделю чинили корневую причину. К концу периода агент сам закрывал большую часть обращений, а менеджеры тратили время только на сложные кейсы.
Что вынести из истории
- Рейтинги дают ориентир, но без пилота на своих данных почти всегда разочарование.
- Яндекс ИИ-агент или GigaChat — хорошая база, но без карты сценариев и словаря остаются вежливыми универсалами.
- Обучение — это не разовая акция, а постоянная работа менеджера. Моя задача — сделать правку базы знаний за минуту.
В итоге ребята из отдела сами начали просить: «А можно агенту ещё вот эту задачу отдать?». Хороший агент не заменяет команду, а разгружает от рутины.