Как работать с метриками доходимости и вовлечённости

Можно ли считать, что доходимость 90% — это 100% успеха онлайн-обучения? И если да, то как добиться такого показателя? Собрали самое интересное из выступления Михаила Осипова, эксперта методического сектора «Университета Иннополис», на «Белой конфе».

Когда мы создаём обучение, мы должны опираться на доказательный подход. То есть не «сделай так, потому что я считаю, что это лучше», а «сделай так, потому что показатели и анализ, который я провёл, доказывают, что это лучше». 

Например, как сделать выбор: нужна курсу геймификация или нет? Провести анализ целевой аудитории, сформулировать цели обучения, учесть особенности темы и ниши, а не внедрять этот сложный механизм, просто потому что это «прикольно».

Ответить на вопрос надо/не надо помогают метрики — данные, цифры, которые мы берём из результатов обучения, показателей сайтов, учебных платформ. 

Две важные метрики, на основе которых мы можем сделать выводы об успешности онлайн-курса — это вовлечённость и доходимость (COR). Разберём, в чём разница между ними, как их измерить и на что они влияют. 

Вовлечённость и доходимость онлайн-курсов

Для начала давайте разберёмся, что означают эти понятия. 

COR (Completion Rate) — индекс доходимости, или сколько купивших учеников прошли ваш курс до конца. 

Считается в процентном соотношении по следующей формуле:

Студенческая вовлечённость — следующая важная метрика. Она показывает, насколько глубоко и активно студент откликается на учебный процесс, сколько тратит на него времени и усилий. 

Выделяют три вида вовлечённости. 

1. Поведенческая вовлечённость

Комментарии студентов в чате, задавание вопросов и ответы на них, поиск и оказание помощи по прохождению обучения другим студентам, участие в различных дискуссиях и т.д.

Как измерить: количество отправленных сообщений в студенческом чате, количество участников, прочее. 

Как влиять: 

• установить чёткие и прозрачные цели для каждого студента
• разобрать пошагово обучение на курсе (дорожная карта студента)
• подробно пояснить ценность базы знаний
• поддерживать дискуссии вокруг тем обучения в чате и т.д

2. Когнитивная вовлечённость

Выполнение студентами всех домашних заданий, проявление упорства в изучении раздаточного материала, в прохождении бонусных занятий и т.д.

Как измерить: процент успешно выполненных домашних заданий, изученных раздаточных материалов, успешно выполненных тестирований и т.д. 

Как влиять: 

• использовать методы активного обучения (дискуссии, групповые проекты, исследования и т.д.)
• обращаться к опыту студентов путём визуализаций, аналогий, метафор
• давать конструктивную обратную связь во время обучения
• задействовать рубрику «А знали ли вы?» по теме обучения и т.д.

3. Эмоциональная вовлечённость

Проявление интереса, любопытства или удовольствия от обучения, выражение положительного отношения, ценности, важности, личной значимости обучения и т.д.

Как измерить: процент положительных отзывов до, во время и после обучения, положительной обратной связи в работе с преподавателями, кураторами и т.д. 

Как влиять: 

• использовать юмор в обучении (профессиональный юмор, мемы и т.д.)
• задействовать качественно оформленный и разнообразный учебный контент
• использовать сторителлинг в обучении
• создавать и поддерживать положительный климат во время обучения и т.д.

Вовлечённость напрямую влияет на доходимость — чем активнее ученик участвует в процессе, чем интереснее для него складывается обучение, чем лучше он видит свой прогресс, тем выше шанс, что он продолжит обучение и пройдёт его до конца. 

Разберём, какие показатели доходимости говорят об эффективности онлайн-курса. 

Какой уровень доходимости онлайн-курса считается эффективным? 

Иногда просто взглянуть на цифру недостаточно для того, чтобы сделать вывод об эффективности обучения. Так как вы не знаете исходных данных: сколько учеников обучалось на курсе, насколько сложными были домашние задания, каковы были условия выдачи сертификатов и так далее. 

Кажется, что всё логично — чем выше доходимость, тем качественнее материал на вашем онлайн-курсе. 

Именно поэтому многие не совсем добросовестные школы так гонятся за высоким процентом COR, искусственно его завышая через следующие инструменты: 

• выдавать сертификаты до защиты проектной работы
• сделать лёгкими домашние задания
• пообещать дорогой бонус в конце обучения и т.д. 

Но по факту, важно, чтобы уровень доходимости (COR) был релевантен образовательным метрикам и учебным целям. 

Разберём эффективность показателей COR на примере курса о создании учебных презентаций. 

1. В начале каждого обучения ставится цель на занятие, модуль или на весь курс: например, овладеть каким-то навыком или научиться проектировать презентацию с нуля.  

2. Каждой из этих целей привязывается определённая метрика. Например, процент учеников, прошедших тестирование, успешно выполнивших домашнее задание или защитивших проект. 

3. И тогда COR считается на основании показателей образовательного результата. Сколько людей овладело навыками и внедрило эти навыки в результат обучения. 

То есть мы считаем показатель доходимости, но при этом держим в уме — сколько человек по ходу обучения и в результате него выполнило поставленные цели. 

Теперь рассмотрим примеры на реальных цифрах. 

Можно ли считать такой COR эффективным? 

COR = 90%

% студентов, сдавших тестирование более 70% по каждому занятию = 30%

% студентов, успешно выполнивших домашние задания = 20%

% студентов, успешно защитивших проект = 10%

Всего училось 100 студентов, дошло до конца обучения 90.

Из 90 студентов:

27 студентов — успешно сдали тестирование (более 70% успешных ответов по занятию)

18 студентов — успешно выполнили домашние задания

9 студентов — успешно защитили проект

Мы видим, что доходимость достаточно высокая, но нельзя считать такой показатель эффективным, потому что всего 9 студентов защитили дипломные работы, а значит, всего 9 студентов из 100 смогли применить полученные знания на практике. 

А можно ли считать эффективным такой COR? 

COR = 40%

% студентов, сдавших тестирование более 70% по каждому занятию = 95%

% студентов, успешно выполнивших домашние задания = 80%

% студентов, успешно защитивших проект = 65%

Всего училось 100 студентов, дошло до конца обучения 40.

Из 40 студентов:

38 студентов — успешно сдали тестирование (более 70% успешных ответов по занятию)

32 студентов — успешно выполнили домашние задания

26 студентов — успешно защитили проект

Доходимость ниже 50%, но при этом количество учеников, эффективно прошедших курс, а значит тех, кто научился применять знания на практике — 26 студентов из 100, что гораздо выше, чем в первом случае. 

Образовательный результат — количество учеников, которые овладели навыком и выполнили поставленную на курсе цель — это главный показатель эффективности онлайн-школы.