Научный подход к оценке эффективности обучения

«Post hoc, non propter hoc» переводится с латыни как «После (чего-то) — не значит вследствие (этого)»

 

Итак, для начала давайте определимся, с чем мы имеем дело и почему мы вообще решили поднять данный вопрос. Проблематика в настоящий момент такова:

  • На рынке корпоративного обучения очень любят читать всевозможную бизнес-беллетристику и многие всерьез верят, что мы с вами обязаны в первую очередь влиять на KPI бизнеса, в том числе на экономические показатели. Это так, но лишь отчасти, и вообще не так применительно к стартовому базовому обучению персонала (стажировке).
  • Существует общеизвестный и общепринятый подход к оценке эффективности. Спасибо господину Киркпатрику. Так ли уж мы ему благодарны, разберемся в этой статье.
  • Ну и самое главное! 90% специалистов по обучению рассуждают по принципу: «Если я провел обучение, измерил показатели, и они изменились в лучшую сторону, значит это произошло в следствие моего обучения, а я – красавчик!»

Многие, скорее всего, могли узнать себя. Ничего страшного, когда-то абсолютно все так рассуждали. Знание модели Киркпатрика и вовсе на собеседованиях на позицию корп. тренера часто спрашивают. Я, к примеру, спрашивал (да и сейчас спрашиваю) и не собираюсь за это каяться. Что же тогда не так?

Практика и современная наука показывают, что многое. Как обычно, все сложнее, чем кажется на первый взгляд. Давайте разбираться.

Первое, на что стоит обратить внимание, это определиться с результатами работы отдела обучения. Ранее мы уже вскользь обсуждали, что ориентироваться преимущественно на экономические результаты – это чистой воды метафизика (вредное наивное суеверие). В доказательство приведем пример.

Вот мы имеем гипотетическую ситуацию, в нашем распоряжении есть самый лучший во вселенной (!) корпоративный университет с самыми лучшими специалистами. И есть в нашей компании руководитель Вася. Так уж вышло, что этот Вася – безнадежный болван, ему осталось работать в компании всего 15 минут, потому что этажом выше, в отделе кадров, уже распечатали приказ о его увольнении и несут на подпись. Вот он сидит и, ковыряя пальцем в носу, декларирует своим бедолагам подчиненным: «Да не слушайте вы этих теоретиков, на самом деле все это чепуха, они ничего не понимают, все из-за того, что продукт г***но и в руководстве одни идиоты, и вообще в нашей компании делать нечего, мой вам совет, я тут 10 лет уже работаю…»

Внимание, вопрос! В эти оставшиеся 15 минут, кто оказывает большее влияние на экономические результаты персонала: самый лучший корпоративный супер-пупер университет или Вася? Не надо быть семи пядей во лбу, чтобы догадаться.

И ведь подобная ситуация не что-то небывалое, сплошь и рядом именно так всё и есть. В итоге практически во всех УЦ, где исповедуют суеверие, что результатом нашей работы являются конкретные экономические показатели, мы наблюдаем одно и то же.

  • Высокий сезон – корп. университет молодцы!
  • Низкий сезон – корп. университет не доработал, давайте найдем и казним виновных!

А еще здесь мы имеем дело с известной поговоркой: «У семи нянек дитя без глазу». Ведь когда ответственность «размазана» по всем, то на деле никто и не виноват. Пойди разберись, кто и в какой степени там приложил руку.

Именно поэтому мы не перестаем повторять, что единственным результатом отдела обучения является профиль компетенций – знания и умения. При таком подходе можно объективно определить статус «до» и статус «после». И сразу всем становится очевидно, на каком этапе что-то пошло не так и чья это ответственность. А бывает ли так, что знания/умения приведены в соответствие с профилем, а результата все равно нет? Ну конечно же бывает. Но здесь лишь два варианта:

  1. Результат не достигнут по причинам, не относящимся к обученности исполнителей, и задача должна решаться не обучением;
  2. Неправильно сформирован профиль компетенций, по факту текущих знаний/умений недостаточно для достижения результата и профиль нужно переделывать, а следом переделывать под новый профиль учебные программы.

Но постойте! Тут многие должны воскликнуть: «Чего вы мне тут рассказываете? Я сто лет уже работаю! Я же много раз видел, как после обучения прямо тут же повышаются результаты сотрудников!»

Да, и вполне может быть, что причина именно в обучении. Но лишь может быть. А может быть и нет. Мы этого не знаем. Это всего лишь гипотеза, которую необходимо ЭКСПЕРИМЕНТАЛЬНО ПРОВЕРЯТЬ/ДОКАЗЫВАТЬ. Таков научный метод: гипотеза-эксперимент-вывод.

После тренинга поднялись продажи? Прекрасно! Но после (чего-то) — не значит вследствие (этого). Ведь есть огромный перечень факторов, не относящихся к обучению, которые могли повлиять на конкретный результат продаж: новый руководитель, сезонность, загруженность сотрудников, маркетинг, выход нового продукта, крупные контракты, усталость, кадровый голод, приближающийся или прошедший отпуск, изменение условий сотрудничества и т. д. Перечислять можно очень долго и все эти факторы могут определять результат в разной степени по отдельности и в комплексе (несколько сразу). Нас же, если подходить к процессу оценки эффективности обучения со строго научной точки зрения, интересует в первую очередь, как объективно установить причинно-следственную связь? Было ли именно обучение причиной такого изменения? Есть ли в принципе корреляция между обучением и результатом? Ведь методология – это наука, а любая наука должна стремиться к строгим моделям с предсказуемым результатом. Да, это не точная наука, а гуманитарная, но все же цель именно такова.

Вот это и есть тот самый – научный подход. Так что же делать? Для начала давайте определимся с гипотезой, которую будем проверять.

Типичная ошибка на данном этапе – поиск причин, по которым результат отсутствует. Кто следит за проф. сообществами очень часто, видит этот вопрос: «Я провел обучение, а результата нет, в чем может быть дело, помогите разобраться!». Ошибка в том, что, действуя в системе, которая определяется множеством факторов, далеко не всегда можно установить истинную причину, к тому же она может быть комплексной. Поэтому действовать нужно ровно наоборот. Те, кто работал в сфере фарм. индустрии, хорошо знают, что в случае с лекарственными препаратами проводятся исследования, цель которых научными методами доказать наличие эффективности. В нашем случае логика такая же. Имея на руках доказанную эффективность обучения, мы можем исключить самое главное – бесполезный труд! Соответственно и мы тоже становимся небесполезными (но это не точно, сначала надо проверить).

Итак, используем метод, который называется контролируемый эксперимент.

Для этого возьмем несколько репрезентативных групп. Выборка может рассматриваться в качестве репрезентативной лишь в том случае, если состав групп приблизительно одинаков, и они подходят для объективного сравнения друг с другом. К примеру, в нашем случае сравнивать группу опытных сотрудников с новичками будет некорректно. Стажеров сравниваем со стажерами, а действующих с действующими, рядовых с рядовыми, руководителей с руководителями, торговые точки с высокой проходимостью с такими же и т. д. Только так можно сделать верные выводы. Статистика в помощь, у кого был такой предмет, прекрасная возможность освежить и применить на практике свои знания.

К примеру, мы сформировали 6 таких групп. Из них 4 группы мы будем обучать по одной и той же программе, в одних и тех же условиях, одним и тем же специалистом/методом. А две оставшиеся группы мы вообще пока что учить не будем, они для нас являются контрольными.

Мы провели обучение 4 тестовых групп и далее можем сравнить их показатели после обучения с показателями до, а также с показателями контрольных групп, которые мы не трогали. Таким образом мы объективно устанавливаем причинно-следственную связь между обучением и изменением показателей.

  • Если есть положительная корреляция «обучение-показатели» и при этом показатели контрольных групп остались неизменными, поздравляю, мы имеем обучение с доказанной эффективностью.
  • Если таковой нет или корреляция совпадает с показателями в контрольных группах, утверждать наличие эффективности обучения безосновательно, изменения могут быть обусловлены какими-то иными факторами.

Как всегда, есть и некоторые слабые места. Возвращаясь к аналогии с фарм. препаратами, существует такое понятие, как плацебо-эффект. Что это такое, скорее всего, все в курсе. Некое подобие эффекта плацебо, к сожалению или к счастью, есть и у нас. Часто в нашей профессии это называют «магией тренинга». Нам не очень нравится такое название, мы все же не в Хогвардсе, мы наукой занимаемся. Но сам этот эффект имеет место быть. Порой дело в групповой динамике, а порой наши ученики на тренинге могут просто банально отдохнуть и отвлечься от рутины. В любом случае – это некий сопутствующий психологический эффект обучения, который тоже может сказываться на результатах. И вот тут мы имеем действительно серьезнейшую методологическую проблему. Потому что в случае с лекарствами можно применить метод плацебо-контролируемого исследования, когда контрольной группе вместо лекарства выдают плацебо, т. е. пустышку. Но нам это не подходит, потому что мы не можем внушить группе, которую мы не обучали, идею, что они прошли обучение. К сожалению, с этим пока остается только смириться.

Но если вдруг у кого-то есть идеи, как можно было бы организовать эксперимент с учетом данного эффекта, поделитесь, мы будем очень признательны, так как сами пока ничего не придумали.

Также есть еще такие методы, как РАНДОМИЗАЦИЯ группы, когда группа формируется случайным способом, чтобы исключить предвзятость испытателей, и ОСЛЕПЛЕНИЕ, когда люди, оценивающие показатели, сами не знают, где результаты тестовых, а где контрольных групп, это требуется для того, чтобы исключить возможность влияния заинтересованных лиц на итоги эксперимента. Применение данных методов тоже является очень желательным, но в нашем случае, в отличии от фармацевтики, они не являются строго обязательными.

С научным подходом к оценке эффективности обучения вроде бы поверхностно, но разобрались. А что же со знаменитым Киркпатриком?

Для тех, кто позабыл (или не знал), модель Киркпатрика – это четырехуровневая модель оценки эффективности обучения, которая заключается в оценке 4 показателей:

  • Реакция – субъективная эмоциональная оценка;
  • Усвоение – контроль объективного уровня знаний/умений;
  • Поведение – фактическое изменение поведения (установленный факт применения полученных знаний в работе);
  • Результат – изменение показателей.

Можем ли мы отследить данные показатели вышеописанными методами? Ну, в общем-то, сложно, но возможно. Главный недостаток этой модели заключается в том, что если проследить корреляцию по каждому отдельному показателю методом контролируемого эксперимента мы можем, то вот объективно установить причинно-следственную связь между этими показателями весьма и весьма проблематично. Невозможно ведь заглянуть в голову человеку, поэтому мы можем лишь предполагать, что изменение поведения действительно связано именно с приобретенными знаниями, а результаты являются прямым следствием новой модели поведения. В целом, недостаток очень условный. Ведь если мы с вами объективно установили, что данные показатели изменились именно благодаря нашему обучению, то мы уже молодцы независимо от того, как они согласовываются внутри принятой модели. Для этого нам достаточно правильным образом организовать процесс проведения эксперимента и анализ полученных данных. А в статье мы разобрали, как это правильно делается.

Ну что ж, на этом сегодня все. Желаем всем высоких объективно подтвержденных результатов!

Как всегда, будем рады вопросам, критике и предложениям!