Как тестировать продукты в онлайн-школе

Продукт влияет на выручку больше, чем маркетинг. В нём — 70% успеха. Так считает основатель PuzzleBrain Артём Захаров. Принесли конспект из его выступления с «Белой конфы». Рассказываем, как тестировать продукты в онлайн-школе и как грамотно проводить продуктовые тесты.

Примеры продуктовых тестов

В компании Артёма Захарова нет ни одного методиста, т.к. основатели рассматривают продукт в первую очередь как бизнес-юнит.

На старте производство курса стоило онлайн-школе 76 тысяч рублей, а через год тестов по снижению стоимости она снизилась до 34 тысяч. Теперь каждый месяц PuzzleBrain экономит более 2 млн на производстве своих продуктов.

Что сделали для этого?

• Снизили гонорар авторов с 25 тысяч до 10 тысяч. 
• Оптимизировали процесс съёмки и монтажа, уменьшив длительность производства в 2 раза.
• Научились лучше готовить авторов перед выходом на съёмку, все проходят репетиции, новички — 3-5, опытные — одну-две.  
• Синхронизировали все процессы и вычислили оптимальную нагрузку. Например, посчитали, сколько монтажёров нужно по отношению к менеджерам, какое количество продуктов оптимально для одного менеджера. Это позволяет не выжигать команду. 

Также проводили тестирование продуктов на необходимость наличия обратной связи на курсах. Например, цену на курс без обратной связи установили 200 рублей, с обратной связью — 300 рублей. 

Каждый раз тесты показывали одинаковые данные: только 3% людей выбирали курс с обратной связью. 

Выводы по результатам этого теста:

• сделали упор на самостоятельное обучение.
• оперативно вносят изменения туда, где вдруг «непонятно».
• подготовили дополнительные материалы, структурирующие полученную информацию.

На сайте есть окно связи для быстрой поддержки, если у ученика что-то пошло не так. Люди пишут туда свои вопросы. Как только они становятся одинаковыми, появляется тенденция, по ним готовят материалы, пояснения или вообще вырезают непонятную часть из курса. 

Какое тестирование продуктов полезно

Держите баланс между радостью и страданием ученика, когда собираетесь начать проводить продуктовые тесты.

Если хотите добавить что-то очень полезное, что в то же время усложнит жизнь ученика, а значит, доставит скорее страдания, то не стоит этого делать. Обучение само по себе уже несёт стресс, даже если оно очень простое. Поэтому давайте ученикам радость, облегчайте всё, что можно облегчить.

Что учитывать при тестировании продуктов?

• Любой тест должен быть измеряемым. Если в этой части у вас нет исторических данных, то измерить результаты не получится, и тест будет бесполезен. Тестировать надо ту область, где есть исторические данные. 
• Тест должен быть направлен на радость клиента или улучшение одной из ключевых метрик. Например, доходимости, повторных покупок.
• Нужно общее желание сделать изменения в проекте. В команде обязательно потребуется человек, который будет топить за такие изменения и напоминать о том, что надо провести тест. Иначе получится так, что один раз предложили — и забыли. 
• Нужно посчитать необходимый ресурс, чтобы стоимость теста не обошлась выше, чем выгода, которую он может принести. 

Над какими продуктовыми метриками нужно работать

Есть простые и понятные метрики, над каждой из которых нужно работать.

Продуктовая

Что нужно рассмотреть здесь.

• Стоимость обслуживания одного клиента.

Например, школа PuzzleBrain зарабатывает, хотя её продукт стоит всего 200 рублей. Она остаётся в плюсе потому, что обслуживание одного клиента обходится в 2 рубля. 

• Себестоимость продукта.

У каждого продукта есть первичные затраты, даже если они минимальные. Нужно следить за входной стартовой стоимостью, т.к. о ней часто забывают. В то время как подготовка продукта к продаже может отнимать очень много сил и ресурсов. Считайте, что и сколько вам стоит.

• Результат клиента.

Это особенно важно, когда вы даёте обещание. Например, в обучении профессии этих обещаний много, в обучении бытовым навыкам можно вообще обойтись без них.

Результат будет, если человек доходит до конца, т.е. важно следить, чтобы он не забросил курс ещё в начале. Если человек бросил курс ещё на первом-втором уроке, скорее всего, ему что-то не понравилось.

• Возвраты.

Они есть в каждой онлайн-школе. Нужно следить за этой метрикой и стремиться к минимальному проценту возвратов, закладывать их в общую выручку. Выработайте свой принцип и свою метрику — какой процент для вас приемлем. 

Экономика клиента

В этой метрике тоже участвует продукт. Что отслеживать здесь.

• Частота покупок.

Если это клуб — то продление подписки, если подписки нет — следите, сколько людей покупают второй продукт после первого. 

Даже если вы продаёте профессию, т.е. практически конечный продукт, можно работать над другими продуктами в линейке, чтобы делать допродажи. 

Всегда можно допродать дополнительную инструкцию, полезность, прямой эфир и т.д. Это нужно, чтобы просто понять, как ваша аудитория реагирует на вас, будут ли ещё продажи или вы уже потеряли этих клиентов и база мёртвая. 

Полезно поддерживать диалог с клиентом не только в формате контента, но и допродаж.

• Длина жизни клиента.

Этот параметр связан с частотой покупок. В крупных успешных проектах это важнейший фактор — и длина жизни клиента составляет десятилетия. Например, как это происходит с Айфоном — люди покупают этот телефон годами. 

Поэтому нужно думать, как сделать так, чтобы клиент был с вами как можно дольше. 

• LTV или ARPU.

По сути это доход, который вы получили с клиента за год. Например, в первый год он зашёл к вам в воронку и принёс 30 тысяч. Сравнивайте, сколько он принёс потом во второй, третий и следующий год. 

Для новых проектов это сложная метрика, т.к. в нём пока нет исторических данных. Поэтому можно следить за тем, на сколько денег человек купил в квартал, в полгода и т.д.

Как выстроить тестирование продукта постоянно

Как правило, не получается просто прийти к команде и наделить такой ответственностью кого-то из подчинённых. Обычно в улучшении метрик заинтересован только сам владелец бизнеса. 

Что может помочь, чтобы команда работала над метриками.

• KPI за метрику. 

Вы можете платить человеку за то, чтобы он улучшил показатели метрики, но здесь тоже есть нюансы. 

Когда вы устанавливаете KPI, выбор остаётся на стороне человека: он решает, достигать этого показателя или нет, хочет он сделать KPI или нет. К тому же придётся платить за достижение метрики каждый месяц. 

• Спецпроекты. 

Спецпроект — это месячный продуктовый тест, т.к. если вы проводите 12 тестов в год, то у вас будет 12 спецпроектов. 

В онлайн-школе PuzzleBrain каждый месяц начинают спецпроект в каждом отделе и продукте, который направлен на то, чтобы улучшить какую-то метрику или докрутить процесс. 

За спецпроект платят фиксированную сумму вознаграждения, и команда знает, что все, кто вовлечены в спецпроект, получат понятную ставку. 

Команда привыкла к тому, что спецпроект стартует каждый месяц, это уже привычная процедура. В начале каждого месяца остаётся определить его направление. Например, будут ли уменьшать стоимость найма или менять что-то в продукте. 

В отличие от KPI, в спецпроекте достаточно сделать рывок один раз и внести изменения, которые останутся в компании. Платить каждый месяц за достижение KPI не нужно. 

• Внедрение в процессы.

Всё, что получается из спецпроектов, потом нужно внедрить на постоянной основе. 

Например, в отдел качества ставят задачу: теперь в курсах должно быть ровно 10 практических заданий. Из отдела качества начинается реализация. 

По сути это изменение инструкции: было так, теперь должно быть так. Теперь человек продолжает делать свою работу немного по-другому. Отдельно за эту задачу никому не доплачивают.