Você conhece os riscos de se acreditar na avaliação de reação? Eu sou Wagner Cassimiro e este é o Espresso3.
Em 2016, Will Thalheimer lançou um livro que polemizou a indústria de treinamento por criticar como atualmente são feitas as avaliações de reação dos participantes e por propor uma nova ferramenta mais voltada à performance.
Com o título, Performance-Focused Smile Sheets, o autor traz provocações bem-humoradas que nos faz repensar sobre um processo automático e cristalizado nas organizações. Após sua leitura, é comum escutarmos confissões do tipo: “não acredito que sempre fiz isso errado a minha vida inteira”.
A avaliação de reação, ou a do participante, ou smile sheet, é de longe a mais utilizada pelas organizações se comparada com os demais níveis do modelo Kirkpatrick. Por conta disso, torna-se indevidamente sobrevalorizada por ser muitas vezes a única fonte de informações para se verificar resultados e tomar decisões.
Esta limitação leva os gestores e analistas a se guiarem por uma bússola viesada que não leva a melhores resultados finais. Além disso, dão uma falsa sensação de dever cumprido e bem realizado.
Neste primeiro cafezinho, apontaremos as principais razões para desconfiar da avaliação de reação. E, a proposta de um novo instrumento será realizada em um outro momento.
Como primeira razão para desconfiar, Will traz inúmeras pesquisas acadêmicas onde são comprovadas que estatisticamente não existe correlação entre avaliação de reação e os resultados da aprendizagem. Em outras palavras, o fato de as pessoas irem melhor ou pior nos testes de conhecimento não tem nenhuma relação com a nota que o treinamento recebeu do participante, assim como o fato das pessoas aplicarem ou não o que aprenderam.
A correlação mede o quanto uma variável é influenciada por outra. Em uma escala que varia de -1 a +1, esta variável pode ter uma relação muito boa se próxima a um destes valores, ou nenhuma se próximo a zero. Dois estudos citados apontaram correlação de 0,09, ou seja, totalmente nula em termos de significância estatística.
A segunda razão de desconfiança, o respondente é incapaz de julgar os aspectos que são perguntados. Quer verificar se o conteúdo e o formato do treinamento estão apropriados? Pergunte a um especialista em design de aprendizagem e não para uma pessoa que está tendo o primeiro contato com o tema. Afinal, se ela já soubesse, provavelmente ela não estaria sentada lá. Além disso, o desconhecimento do resultado final pode levá-la a julgar algo mais pelo gosto do remédio do que pela cura da doença.
Vamos ver um caso de incapacidade de julgamento do aprendiz? No artigo “Are you too nice to train?” publicado em 2006 por Sarah Boehle na Training Magazine, ela conta uma história de dois facilitadores em vendas que foram muito mal avaliados nas turmas que conduziram. Os líderes estavam decidindo o que fariam com eles, se ofereceriam alguma ação de desenvolvimento, ou se os penalizariam de alguma maneira, afastando-os ou até mesmo os desligando da empresa. Ao investigarem mais a fundo o desempenho dos participantes de todas as turmas, ficaram impressionados com os ótimos resultados das pessoas que foram capacitadas por eles, muito acima dos capacitados pelos melhores facilitadores avaliados.
Conclusão deste caso: os participantes julgam pela satisfação da experiência e não pela qualidade dos resultados, pois não tem informações nem bases de comparação. Talvez, os dois facilitadores em questão sejam mais rígidos e exigentes, mas o que importa é que conseguiram provocar desempenho superior em relação aos demais facilitadores.
Terceiro, as escalas de resposta trazem poucas informações para realimentar o processo. Segundo Will, as escalas Likert, por nível de concordância, tipo concordo totalmente, concordo parcialmente, etc. e os rostinhos de felicidade para verificar a satisfação são incapazes de gerar informações tanto para como conduzir o suporte da transferência de conhecimentos, quanto para aprimorar o desenho da solução de aprendizagem.
Por fim, ainda muitas vezes é comum as pessoas tirarem uma média de todos os itens para se chegar a uma nota final e única da capacitação. Este é um dos piores erros na avaliação de reação, pois mistura e esconde diversos atributos diferentes.
Voltaremos neste assunto nos próximos cafezinhos! Fique atento. Até lá, veja o vídeo relacionado ao assunto: Os 10 principais erros na avaliação de reação.
Inspirado em: Will Thalheimer. Performance-Focused Smile Sheets, 2016.
Fonte consultada: Sarah Boehle. Are you too nice to train? Training Magazine, 2006