Интервью с Дональдом Киркпатриком, основоположником модели оценки эффективности обучения




19.09.2011

Автор: Энни Хейс Источник: www.trainingzone.co.uk

В апреле 2011 г. великий Дональд Киркпатрик объявил, что следующий год станет последним годом его публичных выступлений. О своей модели оценки, счастливых случайностях и чувстве юмора Дональд Киркпатрик поделился с Энни Хейс, бывшим редактором HRZone.co.uk.

Начало его истории связано с Университетом Висконсина: «Я работал преподавателем, когда мне пришла в голову следующая мысль: поскольку я провожу семинары, почему бы мне их не оценивать?» — рассказывает Киркпатрик. Он скромно признался в том, что поначалу единственной целью, которую он преследовал, было оценить только реакцию слушателей на его лекции и семинары.

«Однако же, я обнаружил, что этого недостаточно: я хотел узнать, научились ли они чему-нибудь, но потом мне показалось, что и этого недостаточно. Мне надо было знать, применяют ли они какие-либо полученные знания на рабочем месте, поменяли ли они свое поведение каким-либо образом и получили ли они положительные результаты», — поясняет Киркпатрик.

Эта исходная мысль легла в основу широко известной в настоящее время модели оценки эффективности обучения, опирающейся на четыре уровня:

  • — Реакция: мысли и чувства учащихся по поводу обучения;
  • — Усвоение: приобретенные в итоге новые знания, умения и навыки и/или изменение установок;
  • — Поведение: степень изменения поведения;
  • — Результаты: воздействие на предприятие, как следствие результатов работы учащихся.

«Я получил докторскую степень, а затем, спустя пять лет, редактор Американского общества обучения и развития (ASTD) поинтересовался, не желаю ли я написать статью о модели оценки эффективности обучения. К тому времени я уже и думать забыл о ней, — смеется Киркпатрик. — Но я согласился и написал четыре статьи, по одной о каждом из уровней».

Это решение принесло свои дивиденды: с момента выхода работы прошло 40 лет, но и сейчас специалисты в области обучения и оценки персонала продолжают ловить каждое слово Киркпатрика. В 1993 г. он опубликовал книгу, в которой представил конкретные предметные исследования, позволяющие читателям заимствовать концепции, формы и процедуры по собственному усмотрению.

Простота системы оценки Киркпатрика позволяет легко использовать ее в разных отраслях, с разной структурой и разным языком общения

Один из таких практических примеров предоставил Дейв Басараб, описав, как четыре уровня модели Киркпатрика нашли свое практическое применение в компании Motorolla. После этого книги Киркпатрика выходили одна за другой, а затем его сын Джим продолжил дело отца, опубликовав свою книгу под названием «Переход от усвоения к изменению поведения».

Ключ — в простоте

Итак, почему же эта модель и сейчас имеет широкое распространение? На этот вопрос Киркпатрик ответил, что рецепт успеха его модели очень прост: «Она практичная и несложная». Ее простота позволяет легко претворять ее в жизнь в организациях в разных отраслях, с разной структурой и разным языком общения — ведь ее легко приспособить к любой культуре или динамике.

«Каждую компанию беспокоит вопрос о том, оправдывают ли программы обучения потраченные на них деньги. Специалисты в области обучения могут оценить эффективность обучения на первом и втором уровнях, но для оценки третьего и четвертого уровней им необходима поддержка со стороны руководства», — объясняет Киркпатрик.

Со временем он стал свидетелем кардинального изменения подхода организаций к оценке эффективности обучения своих кадров: «Когда я написал свою первую книгу, большинство организаций оценивали реакцию учащихся, но при этом очень немногие оценивали усвоение. Со временем все больше руководителей высшего звена — а ведь именно они утверждают бюджет! — стали требовать дополнительных данных, не ограничивающихся количеством предложенных программ обучения и реакцией учащихся на эти программы. И все больше и больше организаций усилили давление на отделы подготовки кадров, требуя от них обоснования выделенных бюджетных средств».

Каждую компанию беспокоит вопрос о том, оправдывают ли программы обучения потраченные на них деньги

С момента первой публикации модели Киркпатрик внес в нее определенные изменения: «Мы решили, что „бланки оценки реакции“ были недостаточно эффективными, поэтому сейчас мы рекомендуем объединять людей в фокус-группы, выдавать им бланки оценки реакции и принимать необходимые меры по итогам таких действий». Кроме того, Киркпатрик настаивает на соблюдении правил системы оценки и последовательности ее проведения.

 

Легенда и гуру

Создается впечатление, что сам Киркпатрик поражен успехами, которые ему громогласно приписывают. Когда Американское общество обучения и развития впервые назвало его «легендой» и «гуру», он рассмеялся: «А я-то всего лишь хотел получить степень доктора наук!». Это была счастливая случайность, которую Киркпатрик называет «чудом» и которая определила течение его дальнейшей жизни: «Сейчас практически все, чем я занимаюсь, связано с оценкой. Я написал книгу о коучинге, но различные организации раз за разом просят меня снова провести мероприятие, посвященное теме „4 уровня оценки эффективности программ обучения“, поскольку среди посетителей конференции всегда есть новые специалисты в области обучения, а те, кто присутствовал на нем раньше, хотят снова принять в нем участие, чтобы ознакомиться с практическими соображениями о третьем и четвертом уровнях, которые они упустили в прошлый раз», — рассказывает Киркпатрик.

 

Чувство юмора

Практик до мозга костей, Киркпатрик рассказал случай из своей жизни, который является превосходным примером его чувства юмора и способности сохранять здравомыслие, позволивших ему удерживать лидирующие позиции в своей области: «Мне предстояло провести занятие, посвященное теме «Управление изменениями», в корпорации «Dana Corporation» в Мичиган-Сити, штат Индиана. Билл, координатор, позвонил мне и спросил у меня, буду ли я при этом применять SMART-подход. Я не был уверен в том, как это сокращение расшифровывается, поэтому мне не хотелось говорить ни «да», ни «нет», и я скромно попросил рассказать мне, что это означает.

Останавливаться на первом и втором уровнях оценки недопустимо. Билл заметил: «Странно, что Вы этого не знаете». На это я ответил, что собираюсь применять ПИП-подход (я придумал это сокращение на ходу, желая немного сбить с Билла спесь). После паузы Билл переспросил: «Простите, я не расслышал?» Я повторил свои слова, и Билл снова переспросил: «Как Вы сказали — ПИП-подход?» На что я заметил: «Странно, что Вам он незнаком». Я объяснил, что «ПИП» расшифровывается как «практичный, интересный и приятный». Сейчас и я, и мой сын Джим пользуемся этим подходом; правда, мы поменяли «интересный» на «интерактивный», — рассказывает Киркпатрик.

Шутки в сторону

В то же время Кирпатрик очень серьезно относится к применению своей модели. Основоположник модели оценки эффективности обучения обращается к отделам подготовки кадров с решительным предупреждением о то, что останавливаться на первом и втором уровнях оценки недопустимо: «Даже если от вас не требуют дополнительных сведений сейчас, их обязательно потребуют в будущем, и вам следует иметь наготове данные о третьем и четвертом уровнях».

Хотя со времени ее создания окружающий мир изменился, модель Кирпатрика сохранила свою надежность, простоту и доступность — формулу, воплощенную на практике на множестве языков мира: испанском, польском, китайском и многих других. Несмотря на то, что модель Киркпатрика существует уже значительное время, она продолжает завоевывать новых сторонников и будет находить все более широкое распространение в обозримом будущем.

Оригинал статьи: http://www.trainingzone.co.uk/item/190590

 

 

Одной из самых популярных, среди целого ряда существующих оценочных схем эксперты называют, разработанную в 1975 году, модель Кирпатрика, насчитывающую 4 уровня сбора и обработки информации до и после обучающего процесса, с целью выявления и измерения эффекта этого процесса. Схематично эта модель представлена в таблице 1.

 

Таблица 1. Модель оценки эффективности обучения Кирпатрика

1-й уровень Реакция обучаемых Анкетирование сразу после обучения
2-й уровень Уровень знаний Тестирование до и после обучения
3-й уровень Поведение на рабочем месте Оценочные мероприятия. Наблюдения руководителя. Соответствие модели компетенций
4-й уровень Влияние на результаты бизнеса Аттестации и оценки на основе MBO или KPI

 

Однако в представленной таблице нет того, что больше всего интересует руководителей любой компании, а именно денежного выражения результатов обучения. Но не спешите расстраиваться, стоит добавить в нашей таблице всего один пункт и картина резко поменяется. Ниже следует дополненная модель Кирпатрика называемая еще методом ROI (возврат на инвестиции)(табл.. 2)

 

Таблица 2. Дополненная модель Кирпатрика

Уровень

Фокус измерения

Как часто следует измерять

1-й, реакция участников какова реакция обучаемого на само обучение? Анкетирование сразу после обучения
2-й, уровень знаний что обучаемый усвоил в процессе тренинга? Тестирование до и после обучения
3-й, применение знаний как сильно изменилось поведение обучаемого после прохождения обучения? (применении полученных навыков и знаний на рабочем месте) Оценочные мероприятия. Наблюдения руководителя. Соответствие модели компетенций
4-й, влияние на результаты бизнеса насколько увеличилась эффективность компании как следствие прохождения обучения? Аттестации и оценки на основе MBO или KPI
5-й, возврат на инвестиции оправдал ли тренинг вложенные в него средства? Оценивается конечный результат работы компании (с точки зрения затрат и прибыли компании)

 

Эксперты отмечают, что измерять все пять уровней, нужно далеко не всегда, в некоторых случаях достаточно дойти до 3-го (но не меньше). Но если все же было принято решение проводить полную оценку, то очень важно тщательно и аккуратно провести работу по всем уровням. Такой подход поможет определить, на каком этапе произошел сбой, если вдруг показатели ROI окажутся неудовлетворительными.
Еще один аспект, на который следует обратить внимание — это необходимость исключения при подсчете эффективности внешних факторов, которые могли оказывать влияние на результат, например — на увеличение или уменьшение объема продаж. Ведь такое увеличение совсем не обязательно может быть результатом того, что менеджеры прошли обучение — возможно, это следствие запущенной в то же время рекламной кампании. Один из способов отделить влияние обучения от этих факторов — метод контрольных групп, при использовании которого формируются две контрольные группы сотрудников, одна из которых проходит обучение, а другая — нет.

Такой подход дает возможность проследить, как будут отличаться результаты работы одних продавцов от других. Также для изоляции эффектов обучения могут использоваться и экспертные оценки участников и их менеджеров, а также анализ тенденций.

*По материалам журнала «Управление персоналом»