ИИ дал диалоговым тренажерам то, чего им давно не хватало. Живую, свободную речь. Раньше такие системы работали только по жестким скриптам и не могли тренировать сложные сценарии, где разговор непредсказуем. Языковые модели изменили это. Теперь на рынке корпоративного обучения все больше продуктов, которые используют языковую модель и один промпт, называют это тренажером и говорят, что серьезная методическая и техническая проработка не нужна, а готовый тренажер можно собрать буквально за 5-10 минут. Мы решили разобраться, какие у этого подхода есть ограничения, и главное из них – детерминизм: способность системы давать воспроизводимый результат при одинаковых входных данных.
Мы провели эксперемент, записали реплики на диктофон, три раза прогнали их через ИИ-тренажер одного из вендоров и получили три разных результата. Объясняем, почему это происходит и почему такой продукт нельзя называть тренажером.
Эксперимент с диктофоном
На рынке сейчас много продуктов, которые называют себя ИИ-тренажерами для отработки коммуникации. Устроены они одинаково. Языковая модель, интерфейс для общения и набор промптов, которые задают роль собеседника и критерии оценки. После диалога та же модель выдает аналитику и обратную связь.
Вопрос не в том, насколько красив интерфейс, вопрос в том, является ли это тренажером.
Мы не стали гадать и провели эксперимент. Взяли диктофон и записали конкретные реплики. Специально, чтобы исключить любую случайность, каждый раз воспроизводили одну и ту же запись, а не читали с листа. Это единственный способ убедиться, что все три диалога были действительно идентичными. Три раза прогнали запись через продукт одного из вендоров слово в слово.
После каждого прогона система формировала отчет с оценкой и обратной связью. Результаты трех одинаковых сессий разошлись больше чем на 26%.
Обратная связь, которая ухудшила результат
Три одинаковых тренировки, три разных оценки, но дальше интереснее.
После каждой сессии система давала обратную связь. Что было хорошо, что стоит изменить. Мы решили проверить, работает ли эта обратная связь как инструмент улучшения. Скорректировали реплики так, как советовала система, и прошли еще один прогон с обновленными формулировками.
Результат не улучшился. Он ухудшился.
Обратная связь ни к чему не привела. Человек получает конкретные рекомендации, делает то, что ему сказали, и результат становится хуже. Это не обучение.
Представь, что кладешь одну и ту же вещь на весы дважды и получаешь два разных значения. Ты не будешь думать, что вещь изменила вес между взвешиваниями. Ты решишь, что весы врут. С ИИ-тренажером та же история. Система выдает рекомендации не потому, что они верны, а потому, что ее следующий прогон статистически отличается от предыдущего.
Если нет связи между действием и результатом, это не тренажер. Тренажер потому так и называется. Упражнение должно приводить к измеримому изменению. Правильно сделал, результат улучшился. Неправильно сделал, ухудшился. Это основа любой тренировочной системы.
Почему это происходит технически
Языковые модели работают с вероятностями. Это не фиксированный вывод, а результат статистического выбора между тысячами конкурирующих вариантов следующего слова. Два прогона одного и того же запроса могут дать разный результат просто потому, что параллельные вычисления на тысячах процессорных ядер выполняются в разном порядке, и крошечные расхождения в округлениях меняют выбор следующего токена. Дальше вся цепочка расходится.
Это не баг и не плохая настройка. Это природа генеративного ИИ.
В одном эксперименте исследователи специально настроили модели так, чтобы сделать их максимально предсказуемыми, выставили все параметры в самый стабильный режим. Расхождение при повторных прогонах все равно составляла 9,5%. У одной из популярных моделей почти каждый четвертый ответ при повторе оказывался другим, даже в идеальных условиях.
Крупнейшие вендоры ИИ-сервисов прямо пишут в своей документации, что стабильный результат не гарантирован даже при одинаковых параметрах запуска. Это не оговорка мелким шрифтом. Это честная инженерная позиция людей, которые знают, как устроена их система.
Для чата или мозгового штурма такая вариативность нормальна и даже полезна. Для оценки в процессе обучения это критическая проблема. Система не воспроизводит результат, значит, не может объяснить, почему человек набрал именно столько баллов, а не больше. Обратная связь от такой системы не ориентир для работы над собой. Это шум.
Отсутствие причинно-следственной связи.
У тренажера одно фундаментальное свойство. Если ты делаешь правильно, результат улучшается. Если неправильно, ухудшается. Причинно-следственная связь. Без нее нет ни обучения, ни смысла повторять.
В ситуации, которую мы описываем, этой связи нет. Система может похвалить тебя за реплику, которую в следующий прогон оценит ниже. Обратная связь могла быть другой, если бы ты прошел сессию пятью минутами позже, на другом сервере. Это рулетка с интерфейсом тренажера.
Это не означает, что языковые модели вообще не подходят для обучения. Они дают то, чего не было раньше. Живую речь, естественного собеседника, диалог без заготовленных ответов. Это реальная ценность. Но она реализуется только тогда, когда модель встроена в систему с детерминированными алгоритмами оценки. Когда оценку считает не модель, а фиксированный алгоритм. Когда алгоритм воспроизводит тот же результат при тех же входных данных и объясняет его до балла.
Мы занимаемся речевыми тренажерами больше десяти лет, за это время сложилась и методология, и техническая архитектура. Поэтому когда мы строили платформу «Верба», поняли главное: устойчивый тренажер невозможно построить только на языковой модели. В «Вербе» оценка намеренно вынесена за пределы ИИ. Оценочная система работает отдельно, она алгоритмическая. Она дает тот же результат каждый раз, и мы можем восстановить его и объяснить. Это сложнее в разработке. Зато это тренажер, а не болталка с подобием аналитики.
Кроме воспроизводимости оценки, важна еще структура обучения. Настоящий тренажер строится как цикл. Ментор знакомит с навыком, предлагает его попробовать, пользователь делает попытку, система реагирует, дает обратную связь, рекомендует повторить или ведет дальше. Когда человек сразу попадает в открытый диалог, как у большинства провайдеров на рынке, и пытается применить навыки, которых у него еще нет, это не тренажер. Это квалификационный экзамен без подготовки.
Если система не может воспроизвести результат, она не может учить. Она может только разговаривать.
