Как оценить эффективность тренинга: модель Киркпатрика на практике

«Тренинг прошёл отлично, средняя оценка 9,4» — эта фраза не отвечает ни на один вопрос, который на самом деле интересует заказчика обучения. Разбираемся, как устроена модель Киркпатрика, почему почти все останавливаются на первом её уровне и что конкретно нужно делать, чтобы дойти до четвёртого.

Зачем измерять эффективность обучения

У оценки эффективности есть три разных заказчика, и путать их — первая ошибка тренера.

Бизнесу нужно понимать, что изменилось в работе после вложенных денег и оторванного от задач времени. Тренеру нужно понимать, какие блоки программы работают, а какие нужно переделать. Участнику нужно видеть собственный прогресс — иначе обучение остаётся приятным, но необязательным событием.

Анкета в конце занятия отвечает только третьему заказчику, и то плохо. Модель Киркпатрика нужна как раз для того, чтобы разложить вопрос «а был ли толк» на четыре разных вопроса, каждый из которых можно проверить отдельно.

Четыре уровня модели Киркпатрика

Модель предложил американский исследователь обучения Дональд Киркпатрик в конце 1950-х годов, и с тех пор она остаётся самой распространённой рамкой оценки корпоративного обучения. Суть в том, что эффект от тренинга проявляется на четырёх разных уровнях, и на каждом измеряется своё.

Уровень	Вопрос	Когда измеряют	Кто отвечает за результат
1. Реакция	Понравилось ли, было ли полезно	Сразу после занятия	Тренер
2. Обучение	Что человек теперь знает и умеет	В конце и через 2–4 недели	Тренер
3. Поведение	Что он стал делать иначе на работе	Через 1–3 месяца	Руководитель и среда
4. Результаты	Что изменилось в показателях	Через 3–12 месяцев	Бизнес

Уровень 1. Реакция

Насколько участники сочли обучение полезным, вовлекающим и применимым. Это единственный уровень, который измеряют почти все, — и почти всегда неправильно.

Главная проблема стандартной анкеты в том, что она спрашивает про удовольствие, а не про применимость. Вопрос «оцените работу тренера по десятибалльной шкале» измеряет обаяние ведущего. Вопрос «что конкретно из сегодняшнего вы примените на этой неделе» измеряет намерение действовать — и это уже данные, с которыми можно работать.

Высокая оценка на первом уровне не предсказывает изменений на третьем. Обратное, впрочем, тоже неверно: если участники ушли раздражёнными и считают материал бесполезным, до применения дело не дойдёт точно. Первый уровень — это не показатель успеха, а предохранитель.

Уровень 2. Обучение

Что участник теперь знает, умеет и во что верит. Здесь измеряют прирост, а не абсолютный результат, — значит, нужен замер «до», а не только «после». Тест, проведённый один раз в конце, показывает лишь то, что человек в принципе способен ответить на вопросы, но не то, что он этому научился именно у вас.

Знания проверяются тестом, умения — наблюдаемым действием: разыгранным разговором, разобранным кейсом, собранным документом. Отдельно стоит проверять уверенность («насколько вы готовы сделать это самостоятельно») и приверженность («собираетесь ли применять») — без них знание остаётся в голове.

Уровень 3. Поведение

Самый важный и самый пропускаемый уровень. Изменилось ли то, как человек действует на рабочем месте.

Здесь заканчивается зона ответственности тренера и начинается зона ответственности среды. Если руководитель не поддерживает новый способ работы, если в отделе за него наказывают скоростью или отчётностью, если после обучения о нём никто ни разу не спросил — поведение не изменится, каким бы блестящим ни был тренинг. Именно поэтому договариваться о поддержке нужно с руководителями до обучения, а не после.

Измеряют третий уровень наблюдением, разбором рабочих записей и звонков, опросом руководителя и коллег, самоотчётом по конкретным действиям, а не по ощущениям.

Уровень 4. Результаты

Что изменилось в показателях, ради которых обучение затевалось: время обработки заявки, доля повторных обращений, текучесть в отделе, конверсия, количество аварийных ситуаций.

Главная сложность четвёртого уровня — атрибуция. На бизнес-показатели одновременно влияют сезон, смена руководителя, новый продукт, ситуация на рынке. Приписывать весь прирост тренингу нечестно, и заказчик это чувствует. Поэтому четвёртый уровень измеряют не как «доказательство», а как совокупность признаков: показатель, сроки, сравнение с группой, которая не обучалась, и мнение руководителя о вкладе обучения.

Почему большинство останавливается на первом уровне

Причина не в лени, а в структуре работы. Анкету можно раздать в аудитории, пока люди ещё на месте. Всё остальное требует доступа к участникам после тренинга, договорённостей с руководителями и данных, которыми тренер не владеет.

Второй барьер — момент, когда об оценке вспоминают. Если разговор о том, «как будем мерить», начинается за неделю до тренинга, замера «до» уже не будет, показатели не согласованы, доступ к данным не открыт. Оценка при таком порядке физически невозможна, и остаётся только анкета.

Третий барьер — страх результата. Дойти до третьего уровня означает узнать, что поведение не изменилось. Многим удобнее остановиться на девятке из десяти.

Новая версия модели: New World Kirkpatrick

В 2016 году Джеймс и Венди Киркпатрик выпустили обновлённую версию модели — New World Kirkpatrick Model. Она не отменяет четыре уровня, а достраивает то, чего в исходной версии не хватало практикам.

Главное изменение — понятие обязательных драйверов: процессов и систем, которые поддерживают, поощряют и требуют применения выученного на рабочем месте. Это разворачивает разговор: если поведение не изменилось, вопрос не только к тренингу, но и к тому, что происходит с человеком после него.

Второе изменение — «ведущие индикаторы»: краткосрочные наблюдаемые признаки того, что дело идёт к результату, ещё до того как сам результат появится в отчётах. Их удобно снимать через месяц, когда четвёртый уровень измерить ещё нельзя, а сказать что-то заказчику уже нужно.

Как планировать оценку в обратном порядке

Практический приём, который меняет всё: проектировать оценку с четвёртого уровня к первому, а проводить — с первого к четвёртому.

1. Начните с показателя. Спросите заказчика: какая цифра должна измениться и на сколько, чтобы обучение считалось удавшимся. Если ответа нет — это не задача для тренинга, и лучше выяснить это до, а не после.
2. Опишите поведение. Что конкретно люди должны начать делать по-другому, чтобы этот показатель сдвинулся. Формулировка должна быть наблюдаемой: не «стать клиентоориентированными», а «задавать три уточняющих вопроса до того, как предложить решение».
3. Определите, что для этого нужно знать и уметь. Отсюда рождается содержание программы — а не наоборот, из списка модных тем.
4. Спроектируйте занятие. И только теперь думайте про упражнения, тайминги и формат.
5. Договоритесь о поддержке. С руководителями: что они спросят у сотрудника через две недели, как отреагируют на первую неудачную попытку.
6. Снимите замер «до». Показатель, тест, наблюдение — до того как начнётся обучение.

Этот порядок хорошо стыкуется с разработкой программы в целом — подробный алгоритм разобран в нашей статье о том, как за 8 шагов создать программу обучения.

Инструменты по уровням

Уровень	Чем снимать	Трудозатраты
Реакция	Короткая анкета на 5–7 вопросов, устный круг в конце	Низкие
Обучение	Тест до и после, разыгранная ситуация, разбор кейса, самооценка уверенности	Средние
Поведение	Опрос руководителя, наблюдение на рабочем месте, разбор записей, самоотчёт по действиям	Высокие
Результаты	Согласованный бизнес-показатель, сравнение с необучавшейся группой, оценка вклада руководителем	Высокие, требуют доступа к данным

Разумный минимум для одиночного тренинга: полный первый уровень, второй уровень хотя бы через самооценку и одно наблюдаемое действие, третий уровень — коротким опросом через месяц. Четвёртый уровень имеет смысл разворачивать для программ, а не для отдельных занятий.

Готовые формулировки для анкет

Первый уровень: сразу после занятия

• Что из сегодняшнего вы примените в работе на этой неделе? Назовите одно конкретное действие.
• Насколько вы уверены, что сможете это сделать самостоятельно?
• Что помешает вам применить это на практике?
• Какой блок занятия оказался наименее полезным и почему?
• Чего не хватило, чтобы вы ушли с готовым решением своей задачи?

Второй уровень: конец занятия и через две-четыре недели

• Опишите, как вы теперь начнёте разговор в ситуации, с которой пришли на тренинг.
• Назовите три признака, по которым вы отличите одну ситуацию от другой.
• Что вы сделаете, если сотрудник ответит отказом? Напишите первую фразу.
• Насколько вы уверены в своих действиях по шкале от 1 до 5? Что изменилось по сравнению с началом?

Третий уровень: через месяц, руководителю и участнику

• Сколько раз за последний месяц вы применили этот способ? Приведите один конкретный случай.
• Что получилось, а что не сработало?
• Руководителю: заметили ли вы изменения в том, как сотрудник действует? В чём именно?
• Что в рабочих процессах мешает применять новый подход?
• Какая поддержка нужна, чтобы это закрепилось?

ROI: считать или не считать

Джек Филлипс предложил дополнить модель пятым уровнем — возвратом инвестиций, где денежный эффект от обучения соотносится с его полной стоимостью. Идея понятная и заказчику приятная, но на практике она упирается в ту же атрибуцию: чтобы перевести изменение показателя в деньги, нужно принять целую цепочку допущений, и любое из них можно оспорить.

Практическое правило: расчёт ROI оправдан для дорогих длинных программ, где стоимость обучения сопоставима с ожидаемым эффектом и есть доступ к финансовым данным. Для одиночного двухдневного тренинга честнее показать динамику поведения и согласованного показателя, чем строить красивую, но шаткую цифру процента возврата.

Типичные ошибки

• Мерить только реакцию и называть это оценкой эффективности. Анкета говорит о занятии, а не о результате.
• Начинать разговор об оценке после тренинга. Без замера «до» большинство уровней уже недоступно.
• Формулировать цели ненаблюдаемо. «Повысить вовлечённость» невозможно измерить, «проводить встречу один на один раз в две недели» — можно.
• Спрашивать про поведение сразу после занятия. На выходе из аудитории человек отвечает про намерение, а не про действие.
• Возлагать третий уровень на тренера. Перенос в работу обеспечивает среда: руководитель, процессы, ожидания.
• Приписывать обучению весь прирост показателя. Это разрушает доверие быстрее, чем скромный, но честный отчёт.
• Делать анкету длинной. Двадцать вопросов в конце дня заполняются механически и дают шум вместо данных.

Частые вопросы

Обязательно ли доходить до четвёртого уровня

Нет. Глубина оценки должна быть соразмерна масштабу обучения. Для короткого тренинга достаточно первых двух уровней и лёгкой проверки третьего через месяц. Четвёртый уровень разворачивают там, где обучение заявлено как решение конкретной бизнес-задачи и на него потрачен заметный бюджет.

Как измерять soft skills, если их нельзя протестировать

Через наблюдаемое поведение, а не через знание. Не «понимает принципы обратной связи», а «в разговоре называет конкретный факт до того, как даёт оценку». Такое поведение видно в разыгранной ситуации на занятии и в реальном разговоре на работе — значит, его можно фиксировать.

Что делать, если заказчик не готов давать данные

Договориться о доступном заменителе. Если финансовые показатели закрыты, используйте оценку руководителей, количество применённых случаев, время выполнения типовой операции. Важно согласовать этот показатель до тренинга и зафиксировать письменно — тогда после обучения не будет спора о том, что считать успехом.

Через сколько времени мерить третий уровень

Обычно через месяц-полтора. Раньше человек ещё не успел попасть в подходящую ситуацию, позже — эффект уже смешивается с другими изменениями в работе, и связать его с обучением становится сложнее. Для навыков, которые применяются ежедневно, срок сокращают до двух-трёх недель.

Чек-лист оценки эффективности

• С заказчиком согласован показатель, который должен измениться, и его текущее значение.
• Целевое поведение описано наблюдаемо: что человек делает, а не каким становится.
• Замер «до» сделан до начала обучения.
• Анкета первого уровня спрашивает про применимость и препятствия, а не только про впечатления.
• На занятии есть момент, где видно умение, а не только знание.
• С руководителями участников есть договорённость о поддержке после обучения.
• Назначена дата опроса через месяц, и он реально стоит в календаре.
• Отчёт заказчику показывает динамику, а не одну итоговую оценку.
• Там, где эффект нельзя доказать, это сказано прямо, без натяжек.

Что почитать по теме

Официальное описание модели и её обновлённой версии — на сайте Kirkpatrick Partners. Компактный справочный разбор четырёх уровней есть в вики Training Industry. Материалы по измерению и переносу обучения в работу регулярно выходят у профессиональной ассоциации ATD.

Оценка тесно связана с тем, как устроено само занятие: если в программе нет стадии применения, третий уровень просто нечему обеспечить — эту стадию как раз и задаёт цикл Колба. Об этом — наши материалы про структуру тренинга и про то, как создать тренинг.