Avaliação de treinamento pelo modelo Kirkpatrick: um plano para cada nível

Para fazer a avaliação de treinamento pelo modelo Kirkpatrick, comece antes do treinamento: decida qual resultado ele deve mudar. Depois, meça quatro coisas, da mais fácil à mais difícil: como os participantes reagiram (um questionário curto no fim), o que aprenderam (um teste ou uma comparação entre antes e depois), se usam o que aprenderam no trabalho (perguntando a eles e ao gestor nas semanas seguintes) e se o resultado da empresa mudou (nos números da própria empresa, de preferência comparados aos de um grupo parecido que não foi treinado). Só a primeira é um questionário de satisfação clássico. Este guia é para profissionais de RH e de T&D, instrutores e gestores que precisam mostrar que um treinamento funcionou, e explica como avaliar a eficácia de um treinamento em cada nível. Ele traz um plano para cada nível, um calendário, formas de comparar as respostas de antes e de depois e regras para as perguntas.

Principais pontos

• Defina primeiro o resultado que o treinamento deve mudar e planeje de trás para frente: o comportamento, o aprendizado e a reação que levam a ele.
• Uma pesquisa de reação mostra se as pessoas acharam o treinamento relevante e útil, não se aprenderam alguma coisa.
• O aprendizado se mede com um teste, um exercício ou uma comparação entre antes e depois. Pedir no fim, no mesmo formulário, uma nota para “antes” e outra para “agora” é o substituto barato.
• O comportamento se verifica com o participante e com alguém que vê o trabalho dele, em geral o gestor, já nas primeiras semanas, sem esperar meses.
• Comparar as mesmas pessoas antes e depois exige um identificador. Diga aos participantes quem vê as respostas individuais, divulgue os resultados só de forma agregada e não chame essa pesquisa de anônima.

Comece pelo resultado que o treinamento deve mudar

A avaliação de treinamento verifica se um programa produziu a mudança para a qual foi criado e o que corrigir se não produziu. As empresas avaliam por três motivos: melhorar as próximas turmas, decidir se mantêm ou cortam o programa e justificar o investimento em treinamento.

O modelo Kirkpatrick, criado por Donald Kirkpatrick nos anos 1950, avalia um programa em quatro níveis: reação, aprendizagem, comportamento e resultados. A medição segue essa ordem, mas o planejamento vai no sentido contrário: a Kirkpatrick Partners, que mantém o modelo hoje, orienta começar pelo nível 4 e pelos indicadores dele. Numa central de atendimento, a cadeia poderia ser esta:

1. Resultado: menos clientes ligando de novo pelo mesmo problema.
2. Comportamento: o atendente confirma com o cliente que o problema foi resolvido antes de encerrar a ligação.
3. Aprendizagem: os atendentes conhecem os passos da confirmação e conseguem segui-los numa ligação real.
4. Reação: os atendentes acham os passos relevantes para as ligações que recebem.

Se falta um elo, o treinamento pode até ter sido agradável, mas não há como mostrar o que ele mudou. O formulário de reação, que quase toda empresa já aplica, cobre só o último elo.

Os 4 níveis de Kirkpatrick: o que cada um mede e quem responde

Cada nível pede outro tipo de evidência, vinda de outras pessoas, em outro momento:

Só o nível 1 e partes dos níveis 2 e 3 são questionários para os participantes. O resto depende de testes, das pessoas que veem o trabalho e dos números da própria empresa. Um formulário que pergunta aos participantes sobre os quatro níveis só coleta a opinião deles quatro vezes.

Nível 1, reação: pergunte sobre relevância, não só sobre satisfação

O quanto as pessoas gostaram de um curso diz pouco sobre o quanto aprenderam. As notas de reação refletem sobretudo a experiência do curso, como o estilo do instrutor e a interação na sala. Perguntas sobre a utilidade e a relevância do treinamento têm relação mais próxima com o aprendizado e com o uso no trabalho do que perguntas sobre o quanto a pessoa gostou. Por isso, dê a elas a maior parte do formulário:

• Relevância: “Quanto o conteúdo foi relevante para o seu trabalho?” (Nada, Pouco, Moderadamente, Muito, Extremamente relevante.)
• Intenção de uso: “Qual a chance de você usar os passos de confirmação nas suas ligações nas próximas duas semanas?”
• Clareza dos objetivos: “Quão claros ficaram os objetivos do treinamento?”
• Instrutor e material avaliados separadamente: linhas como “As explicações do instrutor”, “Os exercícios” e “A apostila”, cada uma de Ruim a Excelente. Uma afirmação por linha mostra se o que precisa mudar é o instrutor ou o material.
• Uma nota geral, sempre com a mesma redação, para comparar programas e fornecedores.

“Você recomendaria este treinamento a um colega?” pode ficar como item opcional de intenção. Ele não mede o que as pessoas fazem depois.

No Survey.com.br, uma pergunta do tipo “Matriz” com “Uma resposta por linha” reúne as linhas do instrutor e do material, e os resultados mostram as respostas de cada linha como percentuais daquela linha. O modelo de avaliação de reação de treinamento é um bom ponto de partida: são 6 perguntas, com uma matriz de afirmações sobre o instrutor, os objetivos e o material, além de conhecimento prático, nota geral e sugestões. Ele foi escrito para cursos, então adapte a redação à empresa e acrescente os itens de relevância e de intenção de uso.

Nível 2, aprendizagem: teste antes e depois do treinamento

A evidência mais forte de aprendizagem é um teste aplicado antes do treinamento e de novo no fim, o método que a Kirkpatrick Partners chama de tradicional. A empresa observa que um exercício, uma simulação ou uma tarefa que mostre a habilidade pode combinar melhor com o conteúdo. Mantenha o teste curto e varie as questões em vez de repeti-las palavra por palavra, porque a repetição pode inflar o ganho. Se a maioria já acerta quase tudo antes, o teste não tem espaço para mostrar aprendizado: nesse caso, meça o comportamento.

Você pode montar o teste como um questionário com perguntas fechadas e corrigir as respostas por conta própria. Autoavaliações no início e no fim são mais fracas: quem não sabia o que não sabia dá uma nota alta demais ao próprio ponto de partida, e isso esconde ganhos reais.

Os autores atuais do modelo, que o atualizaram nos anos 2010 com o nome de New World Kirkpatrick Model, acrescentam dois itens a este nível e os tratam como sinais precoces de que as pessoas vão aplicar a habilidade: confiança (“Estou confiante de que consigo seguir os passos de confirmação numa ligação real”) e comprometimento (“Pretendo usar os passos de confirmação em todas as ligações na próxima semana”).

Quando não dá para aplicar um teste: o pré-teste retrospectivo

O pré-teste retrospectivo é um único formulário, aplicado no fim, que pede duas notas para cada habilidade: “antes do treinamento” e “agora”. A pessoa avalia o nível anterior quando já sabe o que a habilidade envolve, o que evita a nota inicial inflada. No Survey.com.br, duas perguntas do tipo “Matriz” com as mesmas linhas, uma para “antes” e outra para “agora”, resolvem.

Ele mede o aprendizado percebido, depende da memória e pode ser influenciado pela expectativa de ter melhorado e pela vontade de causar boa impressão. Allen e Nimon (2007) o recomendam para os casos em que um pré-teste de verdade não é possível, e não para substituí-lo. Uma vantagem prática: as duas notas ficam na mesma resposta, então não há nada para cruzar.

Nível 3, comportamento: pergunte ao participante e ao gestor

O comportamento aparece no trabalho, então a visão do próprio participante é uma fonte, não a prova. Inclua o gestor ou, num treinamento para gestores ou instrutores, as pessoas que veem o comportamento: colegas, liderados ou alunos. Observação e registros de trabalho também contam.

Faça ao participante e a um observador as mesmas duas ou três perguntas curtas sobre os comportamentos definidos, separadamente: dois relatos independentes do mesmo comportamento dizem mais do que qualquer um deles sozinho. Por exemplo, pergunte ao atendente: “Nas últimas duas semanas, com que frequência você confirmou com o cliente que o problema foi resolvido antes de encerrar a ligação?”. Faça ao gestor a mesma pergunta sobre [nome do atendente]. Ofereça Nunca, Raramente, Às vezes, Frequentemente e Sempre e dê ao gestor também a opção “Não tive oportunidade de observar”.

Pergunte aos gestores só sobre comportamentos que eles conseguem ver e mostre as respostas “Não tive oportunidade de observar” à parte, nunca como zero. Quando o gestor não vê o trabalho, como no caso de equipes externas ou remotas, use colegas, liderados ou registros. A avaliação 360 graus funciona do mesmo jeito, juntando as notas de gestores, colegas e liderados.

Comece cedo. A Kirkpatrick Partners avisa que não dá para começar a medir o comportamento só 90 dias depois do treinamento: a essa altura, já é tarde para remover o que impede as pessoas de aplicar o que aprenderam. Faça checagens curtas nas primeiras semanas e uma rodada completa quando as pessoas já tiveram uma chance real de usar a habilidade: num procedimento de atendimento, algumas semanas; numa habilidade usada uma vez por trimestre, depois do próximo uso. A página do modelo sugere a segunda rodada de 2 a 3 meses depois, como ponto de partida; não existe um intervalo padrão. Perguntar ao gestor também envolve a pessoa cujo acompanhamento decide se a habilidade vai ser usada: o resultado depende desse apoio depois do treinamento, não só da sala de aula.

Ao divulgar cada rodada posterior, informe o número de respostas, por exemplo “9 de 15 participantes responderam”. Quem aplicou a habilidade responde com mais disposição do que quem não aplicou, então um número baixo superestima quantos a usam. Reenvie o convite a quem ainda não respondeu e, quando poucos responderem, descreva o que disseram em vez de citar um percentual.

Nível 4, resultados: indicadores da empresa e um grupo de comparação

No nível 4, os indicadores de treinamento são os da própria empresa, escolhidos antes do treinamento: os que mudam cedo, como a resolução no primeiro contato, e os que mudam depois, como as reclamações repetidas por trimestre. O questionário dos participantes não tem papel aqui. Uma pesquisa com clientes ou colaboradores que a empresa já faz pode servir de indicador, se foi aplicada do mesmo jeito antes e depois. Perguntar aos gestores se o resultado mudou dá a opinião deles sobre o resultado, não o resultado.

Uma mudança entre antes e depois, sozinha, não prova que o treinamento a causou: um sistema novo, a sazonalidade (a Black Friday numa central de atendimento, por exemplo) ou um novo gestor podem mexer nos mesmos números. Para afirmar que houve efeito, compare com um grupo que não foi treinado, ou que ainda não foi, e meça os dois em vários momentos. A comparação só vale se os dois grupos eram parecidos antes do treinamento:

• Compare primeiro os números de linha de base dos dois grupos.
• Não escolha o grupo treinado pelos resultados. Voluntários já estavam motivados, e a equipe mais fraca provavelmente melhoraria de qualquer jeito.
• Numa implantação em etapas (uma equipe agora, outra no próximo trimestre), defina a ordem por algo sem relação com o desempenho, como a localização ou um sorteio.

Um exemplo publicado desse desenho é um programa de treinamento de gestores na Holanda, avaliado com grupo de controle e medições repetidas (Steensma e Groeneveld, Journal of Workplace Learning, 2010): os gestores treinados melhoraram em conhecimento, comportamento e resultados de longo prazo, mas esses “resultados” eram notas dadas por colegas numa avaliação 360 graus, não números tirados dos registros da empresa.

Quando medir cada nível

Defina as datas antes de o treinamento começar:

No fim do treinamento, coloque o link no último slide, mostre um QR code gerado a partir do link num gerador externo ou cole o link no chat de uma reunião online. O instrutor avisa sobre o formulário e sai da sala, ou da chamada. Cada pessoa responde no próprio celular ou computador, e ninguém recolhe aparelhos nem olha telas: responder com privacidade torna as respostas sinceras mais prováveis. As rodadas seguintes vão por e-mail.

A Kirkpatrick Partners aponta como um erro tradicional deixar uma única pesquisa para o fim do programa: aí já é tarde para ajustar. Alguns minutos previstos na programação não custam nada aos participantes, e esse é o único momento em que todos estão presentes e com os detalhes frescos na memória.

Como comparar as respostas de antes e de depois

Dá para comparar grupos sem saber quem respondeu: a média de antes contra a média de depois. Para ver a mudança de cada pessoa, ou para colocar as respostas de um participante ao lado das do gestor dele, é preciso um identificador, e então a pesquisa não é anônima. Decida do que você precisa antes de enviar o primeiro questionário.

Cinco formas, da mais simples à mais rigorosa

1. Comparação de grupos, sem identificador. Dois questionários pelo link geral; compare as médias. É a forma mais barata: mostra a mudança no grupo, não numa pessoa, e quem responde antes pode não ser quem responde depois.
2. Pré-teste retrospectivo, como acima: não há nada para cruzar.
3. Convites por e-mail com rastreio de resposta. O rastreio de resposta vem desativado. Com ele ativado, cada resposta fica ligada ao endereço de e-mail de quem recebeu o convite, o convite avisa que quem criou o questionário pode ver as respostas, e você abre as respostas de cada pessoa na lista de destinatários. As exportações para Excel e CSV não trazem o endereço, então juntar dois questionários pessoa a pessoa ainda exige uma pergunta com um identificador.
4. Uma pergunta de código. Uma pergunta opcional do tipo “Linha única”, nos dois questionários, para um código que você entrega a cada pessoa (num cartão, durante o treinamento, por exemplo) ou para o e-mail dela, com uma frase dizendo por que você pergunta e quem pode ler. Junte as duas exportações do Excel por esse campo e aceite que algumas respostas vão ficar sem par. Quem tem a lista de códigos consegue identificar as pessoas.
5. Um código que o próprio participante cria. As mesmas três ou quatro perguntas curtas nos dois formulários, cada uma pedindo uma letra ou um número tirado de fatos que só o participante conhece, como a primeira letra do nome da mãe ou o dia do mês em que nasceu. Junte as exportações pelo código que se forma; ninguém tem uma lista que ligue um código a uma pessoa. Alguns códigos vão ficar sem par, e mais ainda quanto maior o intervalo, então essa forma serve melhor para o par início e fim do que para um acompanhamento meses depois. Envie pelo link geral, ou por convite por e-mail com o rastreio de resposta desativado, para que nenhuma resposta fique ligada a um endereço de e-mail.

O que dizer aos participantes sobre confidencialidade

Diga quem vê as respostas individuais (por exemplo, só o RH, e não o instrutor nem o gestor), que o instrutor ou o fornecedor recebe um resumo, e não as respostas de cada um, e que os resultados são divulgados só de forma agregada. Escreva isso na introdução do questionário e no convite.

Num grupo muito pequeno, até um resumo pode apontar uma pessoa. Espere até que um número suficiente de pessoas responda, ou junte várias turmas, antes de mostrar resultados por equipe.

Oito regras para o questionário

Valem para todos os formulários acima:

1. Seja breve. Um formulário de fim de treinamento deve levar poucos minutos; os modelos prontos de treinamento do Survey.com.br levam de 2 a 4 minutos. Num experimento com pesquisas online, quanto maior a duração anunciada, menos gente começou e terminou, e as respostas perto do fim ficaram mais rápidas, mais curtas e mais parecidas entre si (Galesic e Bosnjak, 2009).
2. Ligue cada pergunta a um objetivo e a um nível. Se você não sabe dizer que decisão uma resposta vai mudar, corte a pergunta.
3. Pergunte só sobre o que dá para mudar. Se o local do treinamento é fixo, não pergunte sobre o local.
4. Use principalmente perguntas fechadas. Elas são mais fáceis de analisar e muito menos puladas: num painel do Pew Research Center que representa a população em geral, cerca de 1% a 2% dos respondentes pularam uma pergunta fechada, contra cerca de 18%, em média, nas abertas (Pew, 2021). Num formulário de treinamento os números serão outros, mas a direção é a mesma. Veja quando as perguntas fechadas funcionam melhor que as abertas.
5. Faça uma pergunta, não uma afirmação para concordar, e dê nome a todos os pontos da escala. “Quanto o conteúdo foi relevante para o seu trabalho?”, com cinco respostas nomeadas, funciona melhor do que uma afirmação do tipo concordo–discordo, que convida a concordar por concordar (o viés de aquiescência). Se mantiver afirmações desse tipo, cinco pontos funcionam melhor do que sete ou onze (Revilla, Saris e Krosnick, 2014). Limite as listas a cerca de cinco opções e deixe o sim/não para fatos: “Você usou os passos de confirmação desde o treinamento?”. Mais sobre como formular perguntas neutras.
6. Termine com uma pergunta aberta opcional, como “Que mudança tornaria este treinamento mais útil para o seu trabalho?”.
7. Mantenha as mesmas perguntas principais em todas as avaliações, para comparar programas, instrutores e fornecedores ao longo do tempo.
8. Teste o questionário antes de enviar com duas ou três pessoas que não o escreveram, no idioma em que ele será aplicado, e corrija o que as fizer tropeçar.

Como montar tudo no Survey.com.br

1. Monte o formulário do fim do treinamento a partir do modelo “Avaliação de curso - 2”, que está na página do modelo: adapte-o à empresa e acrescente os itens de nível 1 e de nível 2 deste guia.
2. Use “Copiar este questionário” para cada rodada seguinte, para que cada rodada tenha os próprios resultados. Com a opção padrão “Apenas uma resposta à pesquisa permitida por dispositivo (PC, tablet ou celular)”, quem abre o mesmo questionário de novo dentro de um ano vê as respostas anteriores e só consegue alterá-las.
3. Para o nível 3, faça um questionário para os participantes e outro para os gestores e guarde os destinatários em “Listas de e-mails”. Cada pessoa da lista pode ter até cinco valores extras, como a equipe, ou “treinado” e “comparação”, que servem para filtrar os resultados depois. Ative o rastreio de resposta e envie os convites. Assim você pode reenviar a mensagem só a quem está em “Não responderam ao convite por e-mail” (com o rastreio desativado, isso inclui todo mundo). Para fechar o questionário dos gestores ao link geral, ative “Restringir as respostas do questionário a convites por e-mail”, sempre junto com o rastreio de resposta; sem ele, os convidados não conseguem abrir o questionário.
4. Leia os resultados por grupo com o filtro “O valor de email equivale a” (que também exige o rastreio de resposta) e use “Exportar para o Excel” para colocar duas rodadas lado a lado numa planilha. A ferramenta não compara dois questionários por você.
5. Acrescente uma pergunta de código (forma 4 ou 5 acima) se precisar cruzar as respostas de cada pessoa. Na forma 5, deixe o rastreio de resposta desativado.

Conclusão

Defina primeiro o resultado e volte até o comportamento, o aprendizado e a reação que levam a ele; depois, meça na ordem inversa. O formulário de reação é o começo, não a prova. Teste o aprendizado antes e no fim, ou use o pré-teste retrospectivo quando não der. Pergunte ao participante e a quem vê o trabalho dele em semanas, não em meses. Leia o resultado nos indicadores da própria empresa, comparando com um grupo que era parecido antes do treinamento.

Antes do primeiro questionário, decida se vai precisar cruzar as respostas pessoa a pessoa e diga aos participantes quem vai vê-las. Quando os resultados chegarem, trate-os como os de qualquer pesquisa com colaboradores: veja o que fazer com os resultados da pesquisa de clima.

Comece pelo formulário do fim do treinamento: os itens de reação e o teste ou o pré-teste retrospectivo.

Leia também

• O que fazer com os resultados da pesquisa de clima: passo a passo
• Tipos de pesquisa de RH: qual aplicar e quando
• A Parcialidade Do Entrevistador Pode Afetar Os Resultados Obtidos Com O Questionário!