Система контроля качества в онлайн-школе: как поднять с её помощью метрики

Как внедрить систему контроля качества обучения и как работать с ней? Какие анкеты нужны и какие вопросы добавлять? Как мотивировать людей заполнять анкеты и что такое система 3Р? Об этом на «Белой конфе» рассказала Гаяне Гукасян, сооснователь и ведущий эксперт агентства PRO-CUSTDEV, руководитель отдела исследований Younesis. Делимся с вами конспектом.

Какие метрики нужно оцифровывать каждый поток

NPS, или индекс потребительской лояльности, — метрика, показывающая, насколько сильно клиенты любят или ненавидят вашу компанию.

Вычисление показателя NPS строится на ответах клиентов о готовности рекомендовать вашу компанию/школу/обучение/продукт по шкале от 1 до 10. Вычислить этот показатель можно с помощью анкетного вопроса: «Насколько вы готовы рекомендовать обучение по шкале от 1 до 10, где 1 — точно не буду рекомендовать, 10 — обязательно буду рекомендовать?»

CSI, или индекс удовлетворённости клиентов, — это показатель, с помощью которого измеряют удовлетворённость клиента вашим продуктом/сервисом в разных направлениях. 

Вычисление показателя CSI строится на ответах клиентов об удовлетворённости вашим продуктом и сервисом по различным метрикам по шкале от 1 до 10. Вычислить этот показатель можно с помощью анкетного вопроса: «Оцените, пожалуйста, по шкале от 1 до 10, насколько практические занятия были для вас полезны, где 1 — совершенно не полезны, 10 — очень полезны?»

Примеры вопросов.

Формула расчёта показателей NPS и CSI.

Кто поставил оценку от 1 до 6 — хейтеры, от 7 до 8 — нейтралы, от 9 до 10 — фанаты.

Чтобы посчитать NPS или CSI, нужно вычесть из процента фанатов процент хейтеров. 

Доходимость до конца обучения — это процент учеников, дошедших до конца обучения, от общего числа начавших обучение. 

Не рекомендуется брать за 100% всех, кто купил продукт, важно считать тех, кто начал его проходить.

Для вычисления доходимости необходимо определить ключевое стартовое действие и ключевое финальное действие.

Пример ключевого стартового действия: распределился по командам, начал работу с наставником, посмотрел первый модуль.

Пример ключевого финального действия: сдал финальное д/з, посетил финальный созвон, сдал выпускной проект, заполнил финальную анкету.

Процент активации — это процент учеников, которые сделали результат в процессе обучения, от общего числа начавших обучение.

Для расчёта процента активации необходимо определить твёрдые показатели результата вашего обучения/продукта/услуги.

Пример результата:

• обучение профессии — количество учеников, заработавших первые деньги (любая сумма)
• обучение психологии для себя — количество учеников, сумевших решить свой запрос, с которым заходили на курс (это может быть и субъективной оценкой клиента).

Чтобы узнать результат, задаём клиентам вопрос: «Удалось ли вам удовлетворить запрос, с которым вы приходили на курс?»

Система контроля качества сервиса и продукта

Система контроля качества (СКК) — это возможность для онлайн-школ контролировать показатели продукта и сервиса и управлять ими, улучшать качество предоставляемых услуг и создавать сильные продукты.

СКК представляет собой две контрольные анкеты, которые вшиваются в курс:

• входная анкета — это замер целевой аудитории / клиентов, которые зашли на обучение. Нужно понять: зачем клиент пришёл, какие у него цели и мотивы, какой результат хочет получить
• финальная анкета — замер всех итоговых показателей результативности учеников, качества продукта и сервиса.

Этапы внедрения системы контроля качества в обучение:

• определение ключевых контрольных метрик
• создание анкет на основе метрик: входная и финальная анкеты
• размещение: Google Формы или Webanketa
• внедрение анкет в обучение
• сбор ответов: можно дать неделю на заполнение анкет учениками
• анализ результатов.

Входную анкету желательно внедрять в самое начало, но только после того, как человек выполнил ключевое действие. Например, входная анкета может появляться после прохождения клиентом первого модуля. А финальная анкета — после сдачи последнего домашнего задания. 

Список вопросов для входной анкеты:

• кто моя ЦА: род деятельности, уровень подготовленности
• точка А: проблемная ситуация
• причины, по которым пришли на обучение
• результат, к которому хотят прийти
• сравнение с конкурентами: факторы выбора
• факторы покупки
• соц.-дем. блок.

Список вопросов для финальной анкеты:

• кто моя ЦА: род деятельности, уровень подготовленности
• изменения в точке А: что изменилось в жизни ученика
• текущее состояние, этап, на котором находится ученик
• мотивы и цели, с которыми шли на курс
• к чему из этого в итоге пришли, а к чему нет
• ценный конечный результат, который получили или не получили
• контрольный вопрос для расчёта процента активации
• плюсы и минусы обучения
• трудности в процессе обучения
• вопросы по всем метрикам CSI по технике 3Р
• контрольный вопрос для расчёта NPS по технике 3Р
• дальнейшие планы
• общие предложения и рекомендации
• соц.-дем. блок.

Любой оценочный вопрос должен строиться по технике 3Р: 

• рейтинг — люди ставят оценку
• разъяснение — почему именно такая оценка
• рекомендация — что сделать, чтобы стало лучше.

Последние два пункта показываются только тем, кто оценил обучение на 1–6 баллов из 10. 

Пример анкетных вопросов.

Из таблицы видим, что большинство выпускников (86%) успевали за темпом обучения. 

14% выпускников отметили, что, несмотря на то, что им удалось успевать за темпом обучения, иногда чувствовалась усталость или отставание от остальных учеников.

Распределение выпускников курса по виду занятости до прохождения курса:

• работа на себя (фриланс) — 36%
• работа в найме на линейной должности — 20%
• работа в найме на руководящей должности — 20%
• у меня свой бизнес — 13%
• не работал(а) — 8%
• я студент — 3%.

В анкетах полезно задавать вопросы с уточнениями. Например, мы проводим обучение по финансам и задаём в анкете вопрос: «Какие проблемы для вас актуальны?» Человек выбирает пункт с финансовыми проблемами. Мы дополнительно спрашиваем, как именно у него проявляется проблема в сфере финансов. И так далее.

Как мотивировать людей заполнять анкеты

Входную анкету можно делать стоп-уроком. Пока человек не заполнил входную анкету, у него не получится продвинуться дальше. 

Мотивировать заполнять анкету на выходе можно с помощью бонусов. Например, допуск к курсу даётся на 3 месяца. Если человек заполнит анкету, курс будет доступен 6 месяцев.

Ещё можно использовать метод кнута. Если человек не заполняет анкету, он не получает сертификат о прохождении курса. 

Какой из методов лучше — покажет тест.

Примеры

Допустим, вы замерили NPS и он равен 60%. Мы хотим поднять этот показатель. Но для этого нужно понять, что влияет на готовность рекомендовать наш продукт другим людям.

В проекте Гаяне провели исследование и поняли, что существует прямая зависимость между оценкой полезности еженедельных вебинаров и готовностью рекомендовать курс. Чем выше выпускники курса оценивают свою удовлетворённость от вебинаров, тем больше они рекомендуют курс другим людям.

А оценка удовлетворённости практикой в мини-группах никак не влияла на готовность рекомендовать курс. 

Вывод: чтобы поднять NPS, нужно работать с вебинарами внутри курса.

Ещё один пример корреляции с темпом обучения.

В проекте Гаяне был вопрос в анкете: «Успеваете ли вы за темпом обучения?» 

Но здесь важно учитывать людей, которые редко смотрят уроки и выполняют задания. Поэтому мы задаём дополнительный вопрос: «Посещаете ли вы все практические занятия?» 

Оказалось, что все выпускники, пропустившие больше двух занятий, отметили, что не успевают за темпом обучения или устают от нагрузки. То есть ученики пропускали занятия не из-за потери интереса к курсу и плохого качества практики, а из-за неподходящего темпа обучения.

Значительный процент выпускников, посетивших большинство занятий, также уставали от нагрузки и отставали от программы.

Для чего нужна система контроля качества сервиса и продукта

• Контроль качества обучения, продукта и сервиса с минимальными затратами времени и ресурсов
• Полная прозрачность всех процессов и работы сотрудников отделов сервиса и продукта
• Улучшение качества продукта, создание продукта №1 в своей нише
• Создание новых продуктов и увеличение LTV
• Разработка акций и различных маркетинговых активностей
• Систематизация сбора кейсов. Внедряем ключевой вопрос. Ответ на него покажет, подходит ли ученик для кейса
• Разработка KPI сотрудников

Вы можете вшить в анкету вопросы, чтобы понять, какой ещё продукт будет интересен вашим клиентам. Примеры вопросов:

• Какие ещё продукты хотели бы видеть у нас?
• Чего вам не хватило после обучения?
• Чему бы ещё хотели научиться?
• Каких знаний вам не хватило?
• В какую область вы хотели бы углубиться после обучения?

Разберём подробнее пункт с разработкой акций и маркетинговых активностей.

В проекте Гаяне запустили что-то вроде «Колеса фортуны». Команда думала, что идея отличная. Но когда спросили мнение учеников, оказалось, что им не понравилось. Людей обескураживала гонка между участниками, и многие забросили обучение.

Ещё один пример. Компания ввела в обучение сессии с психологом. Это дорогостоящая услуга. Когда спросили учеников, они ответили, что им понравилось. Но как это повлияло на цифры:

• нововведение не оказало влияния на готовность рекомендовать обучение своим знакомым
• это не стало ключевой особенностью, из-за которой люди оценивали курс
• не повлияло на процент активаций.

Затраты не были обоснованы. Поэтому функцию убрали и тем самым сэкономили бюджет без потери качества. 

С помощью СКК можно разработать KPI сотрудников, чтобы они сами хотели работать. 

У клиента Гаяне был ресторан. В нём внедрили систему KPI через метрики. 

Например, задавали клиентам вопрос: «Оцените охрану на входе». Если показатель был ниже 90%, охрана не получала премии и бонусов в этом месяце. То же самое с официантами и другими сотрудниками.

Такую систему можно сделать и в онлайн-школах. Просто подвязываем всех сотрудников к системе KPI, основанной на СКК.

Результат системы контроля качества сервиса и продукта

Пример таблицы клиента Гаяне.

Первый поток не показательный. Мы ещё не знаем, какие цифры нормальные, а какие нет. Но всё равно нужно взять обратную связь у клиентов, исправить ошибки и усилить продукт к следующему потоку. 

Со второго потока мы уже сравниваем цифры. На примере видно, что 5 показателей улучшились, а 3 просели. Нужно усилить эти пункты. 

К четвёртому потоку все показатели увеличились. 

Вывод: важно анализировать метрики в каждом потоке и вовремя поднимать упавшие показатели. Стремитесь к тому, чтобы с каждым потоком улучшалась хотя бы одна просевшая метрика.