Искусственный интеллект в отделе контроля качества

Как ИИ помогает оценить качество отдела продаж и за счёт этого увеличить выручку? Про отдел контроля качества с искусственным интеллектом на «Питерском промпте» рассказал Ростислав Равинский, сооснователь агентства XMetod. Делимся конспектом выступления.

Что такое отдел контроля качества, когда и почему стоит его внедрять

Отдел контроля качества (ОКК) — инструмент для повышения качества обслуживания клиентов и эффективности работы отдела продаж. Если ваша компания что-то продаёт и у вас есть хотя бы два менеджера по продажам, ОКК точно нужен.

По данным McKinsey:

• 96% клиентов уходят, не жалуясь на обслуживание. Их просто неправильно обработали, они ничего не купили, но и отзыва не оставили. В результате вы даже не знаете, почему они ушли
• 65% менеджеров пропускают этапы продаж и воронки. Они начинают сразу с презентации и продают в лоб. В таких случаях люди очень редко покупают
• 67% клиентов уходят из-за некачественного первого контакта. Вы заплатили за лида, но менеджер плохо проводит первое касание (не то настроение, плохо поздоровался) — и клиент уходит
• до 95% проблемных коммуникаций пропускается при выборочной оценке. Часто функции ОКК возлагаются на РОПа. Но это дорогой сотрудник. Поэтому нерационально ставить ему типовые задачи, с которыми может справиться ИИ или младший специалист.

Кто такой РОП? Это менеджер, который должен планировать, организовывать, контролировать и мотивировать. Если добавить РОПу задачу слушать звонки, то его основные функции будут выполняться плохо. Поэтому нельзя ОКК возлагать на РОПа.

Где теряются деньги

1. Потерянные и забытые клиенты. Во всех компаниях есть клиенты, про которых забыли. Эти клиенты могли прийти 1–2 года назад, но они просто висят в CRM и никто с ними не работает. Если предложить им хороший оффер, клиентов можно вернуть.
2. Несоблюдение скриптов и этапов продаж. Базовый навык менеджеров, который обязательно нужно внедрять, — разговаривать по сценарию. 

Если менеджер будет перескакивать через какие-то этапы, то процент заключения сделки уменьшается. 

3. Незакрытие на следующий шаг. Часто менеджеры просто мучают клиентов, не говоря, а что же будет дальше. 

Например, менеджер поговорил с клиентом, узнал о нём что-то, пошёл составлять коммерческое предложение. Но с клиентом он просто попрощался, без предложения следующего шага.

Хотя можно было бы сказать: «Давайте послезавтра созвонимся в 14:00. Я вам расскажу, сколько это будет стоить, помогу сэкономить, расскажу, как всё работает».

4. Некачественная квалификация клиента. Обычно это выглядит так: маркетологи приводят нужное количество лидов по хорошей цене, но продаж нет. 

Это можно решить внедрением воронки с квалификацией лидов. При этом нужно понимать, какой лид будет считаться квалифицированным. Например, у него должна быть понятная срочность покупки и понятные потребности.

Что и как нужно контролировать

• Нарушение порядка работы в CRM. Смотрим, как работают менеджеры в CRM
• Соблюдение сценариев диалога (скриптов). С этой задачей хорошо справляется нейронка

Внедрение такого контроля позволяет быстро расти.

Что делаем:

• смотрим на наличие задач по каждой сделке. Если менеджер не поставил задачу, скорее всего, он позвонит клиенту не вовремя или вообще забудет про него
• проверяем комментарии после каждого звонка. Нельзя закрывать задачу без комментария
• проверяем актуальность стадий сделки. Часто бывает, что сделка находится на этапе квал. лида, а на самом деле она уже прошла ключевой этап воронки (защита КП). В результате менеджер может позвонить клиенту, не зная, на какую тему с ним разговаривать
• смотрим на корректность причины отказа. Важно, чтобы у вас был список причин отказов. Так вы сможете проанализировать, почему люди не покупают
• прослушиваем звонки и онлайн-встречи. С этой задачей хорошо справляется ИИ, особенно если вы работаете с Zoom. 

Кейс Ростислава 

Ниша: производство комбикорма. 

Проблема: лиды есть, а продаж нет. Клиент собрался банкротиться. 

Команда Ростислава внедрила список с причинами отказа. Через две недели тестов увидели, что 90% клиентов отказываются, потому что дорогая логистика. 

Компания рекламировалась на всю Россию, но не было учтено, что клиенты из другого региона не будут покупать, потому что с учётом логистики выгоднее взять комбикорм в своём регионе.

В результате сузили аудиторию и перестали рекламироваться на всю страну. Это решило проблему.

Человек или ИИ?

Как может работать отдел контроля качества с искусственным интеллектом? Сравним, где лучше справится человек, а где — нейросеть. Команда Ростислава использует GPT-4 и Claude 3.5. 

• ИИ дешевле, но всё зависит от количества критериев и проходов

Например, можно загрузить в нейросеть транскрибацию разговора и попросить оценить сразу по десяти критериям: как менеджер поздоровался, соответствует ли разговор корпоративным стандартам, правильно ли проведена презентация и т. д. И всё это сделать в одну проходку. 

Это дешевле, потому что тратится меньше токенов. Но эффективность будет ниже.

Если нужны более точные оценки, лучше сначала попросить оценить текст по одному-двум критериям, потом по следующим и т. д.

• ИИ не сможет оценить настрой и заряд менеджера при разговоре

А вот человек может это сделать. Но оценивается это обычно субъективно, а если прослушивать разговоры на скорости ×2, то это вообще теряет всякий смысл.

• ИИ может обрабатывать 100% касаний

Он не устаёт, не забывает и не спит.

• Человеку проще в нестандартных ситуациях

Например, если идёт разговор с неквалифицированным лидом, человек понимает, что звонок не стоит оценивать, и просто игнорирует его. Робот же оценит такой звонок и поставит низкую оценку.

• ИИ быстрее адаптировать под новые алгоритмы

Например, при изменении скрипта или критериев оценки. Чтобы объяснить всё это человеку, может уйти 3–4 дня. ИИ справится за 20 минут.

ИИ заменяет людей?

Есть два вида компаний: где нет ОКК и где есть, но работает человек. Если внедрить искусственный интеллект в отдел контроля качества, человека придётся уволить?

На самом деле, нейросети повышают эффективность людей. Поэтому увольнять никого не придётся.

У менеджера всё равно останутся задачи по ОКК. Просто их будет меньше. Освободившееся время можно заполнить другими задачами. Например, очень часто менеджеры ОКК становятся бизнес-тренерами.

Кейс от XMetod 

Агентство Ростислава пришло в компанию клиента в мае. Ввели контроль, после которого начался саботаж и результаты по выручке просели.

Но после всей проделанной работы появилась положительная динамика.

Как поднимали конверсию

1. Оценка 100% касаний

Команда Ростислава сразу оценила все звонки в компании: продающие, квалификационные и уточняющие. Стали видны все узкие места в коммуникации с клиентами.

2. Постоянная докрутка

Как только оценки становились более-менее высокими, команда усложняла сценарий скрипта. Например, добавляла новый пункт. Так менеджеры начинали закрывать на сделки больше клиентов.

3. Привязка оценки к финансовой мотивации

Финальная оценка ОКК стала коэффициентом, на который умножалась вся бонусная часть сотрудников. Этот коэффициент мог быть как уменьшающим, так и увеличивающим.

Например, при высокой оценке все бонусы умножались на 1,2. А при низкой — на 0,6.

Допустим, работа каждого менеджера оценивается от 0 до 100. Если средняя оценка по менеджерам в конце месяца составляет 60%, то коэффициент будет равен единице. Если ниже 60% — 0,8, если выше — 1,2. Далее все бонусы умножаются на коэффициент. 

В результате менеджер понимает, что, работая лучше, он получает больше денег. 

4. Ведение ИПР на основе оценок

В индивидуальный план развития сотрудников необходимо вписывать мероприятия по улучшению навыков — там, где оценка низкая. Так любые обучения и тренинги будут максимально точными и эффективными.

Например, один менеджер плохо проводит презентации, а другой не умеет отрабатывать возражения. Если проводить одинаковые тренинги, не всем сотрудникам обучение будет полезно. 

Видя оценку, мы знаем, в чём просадка каждого менеджера. Далее даём прицельное обучение: одному — тренинг по презентациям, другому — тренинг по возражениям.

5. Выведение оценки ОКК в статистику

За счёт этого удобно смотреть на статистику: растёт она или падает. В результате любой сотрудник может посмотреть общую эффективность.

Оценка ОКК как ключевая статистика

Это адаптированная система Рона Хаббарда.

Что делать, если статистика падает или находится на крайне низком уровне

1. Справьтесь с ситуацией и любой опасностью в ней. Сделайте так, чтобы график хотя бы выровнялся.
2. Признайтесь себе и зафиксируйте данную аномалию. Важно понять, что это не норма.
3. Разберитесь, что предшествовало ситуации.
4. Реорганизуйте деятельность так, чтобы ситуация не повторялась.
5. Поставьте «красный флаг».

Что делать, если статистика стагнирует на среднем уровне

1. Усильте давление и добавьте инструменты управления. Например, можно увеличить количество планёрок, обратной связи, тренингов.
2. Признайтесь себе и зафиксируйте данную аномалию.
3. Укрепите дисциплину. Если менеджер опоздал, нужно его наказать. Это особенно важно при стагнирующем графике.

Если статистика медленно растёт

1. Ничего не меняйте.
2. Никаких суровых наказаний.
3. Если статистика растёт быстрее, чем обычно, усильте это.
4. Если статистика немного замедляет рост или падает, устраните причину этого.

Ошибки при работе с ИИ

1. Давать бинарную оценку

Представим, что мы внедрили в скрипт новую фразу или целый блок и оцениваем менеджеров. Первый менеджер пытается сделать всё как надо, но ошибается. Второй даже не делает попытки внедрить в диалог что-то новое.

Если давать бинарную оценку, оба менеджера получат неуд, потому что результат не достигнут. 

Но первого менеджера можно научить, потому что ошибаться вначале — это норма. А вот со вторым придётся действовать более жёстко.

2. Верить первому написанному промпту

Нужно сплит-тестом запустить пару настроек и дать менеджерам возможность оставлять комментарии по своим оценкам. Если менеджер не согласен с оценкой, РОП разбирает его случай и аргументированно выносит вердикт: согласен с менеджером или с ИИ.

Если правда на стороне сотрудника, РОП передаёт информацию дальше для разбора ошибки. 

После этого промпты подкручиваются и снова тестируются.

Такой «арбитраж» помогает быстро найти хорошую связку.

3. Не учитывать тип касания

В звонке-квалификации и в звонке-КЭВе различные критерии имеют разный вес. Это обязательно стоит учитывать, иначе оценка не будет объективной.

Например, если мы только знакомимся с клиентом, важно правильно представиться и задать правильные вопросы. Если звоним в пятый раз, то представляться так, как это было при первом касании, будет странно.

Чтобы избежать этой ошибки, можно сделать один промпт, а затем фильтровать результаты по типам касания. И в финале просто не учитывать оценку ИИ. Например, не учитывать правильное приветствие при пятом звонке клиенту.

4. Пытаться оценить большое количество критериев в один проход

Качество оценки в несколько проходок сильно выше. Для базового внедрения ОКК можно использовать один проход, но для повышения алгоритм нужно менять.

5. Не контролировать работу ИИ

Важно сверяться по контрольным точкам с оценками. Дайте возможность менеджерам оспорить оценку от ИИ.