Olá, estou aqui no Santander com o Rafael para explorar o tema avaliação de resultados. Eu sou Wagner Cassimiro e este é o Espresso3.
Rafael, o que vocês levaram em consideração para estruturar o sistema de avaliação de resultados?
Os critérios que nós levamos em consideração são os os critérios de volume de verba, ou financeiro alocado para cada um dos projetos. Então de acordo com este volume, existem níveis de mensuração que são levados em consideração para poder fazer a aplicação destes níveis. Levamos em consideração o volume de pessoas treinadas. Então dependendo do tamanho do projeto e do volume de pessoas impactadas também há um critério para que seja um ou outro nível de mensuração relevante para mensurar. Levamos em consideração o quanto que estes conteúdos, que estamos levando para o conhecimento das pessoas, conversam com o que é a estratégia da organização. Então quanto mais próximo e mais de forma objetiva este treinamento conversar com a estratégia da organização também há interferência de que nível devemos aplicar para fazer a avaliação de resultados. Então, basicamente estamos falando de volume investido (volume alocado para fazer algum tipo de treinamento), volume de pessoas que são impactadas com aquela ação e o quanto este tema conversa com a estratégia da organização.
Rafael, mais especificamente, quais são os critérios para cada nível?
Bom, Wagner, para cada nível de mensuração existem alguns critérios. Quando olhamos para o nível de reação, de fato não há grandes critérios, ou não há critério, porque é algo que não é desafio e é possível fazer a aplicação deste nível para todos os programas e treinamentos. Então fazemos para 100% de tudo que colocamos no ar. Quando olhamos para aprendizado, que é o segundo nível, estamos falando de alguns critérios que são: volume de pessoas envolvidas nesta ação de treinamento e um valor de investimento alocado por volta de R$ 50 mil. Um outro também que não fez parte de toda a avaliação macro é a questão de quanto ele é técnico.
Ser capaz de ser avaliado?
Capaz de ser avaliado, então ele tem que ser suscetível de avaliação. Não a avaliação tradicional que a gente conhece, mas tem que ser suscetível de avaliação. São poucos os programas, mas também fazemos, onde nós fazemos a avaliação do segundo nível, de aprendizado, de conteúdos mais comportamentais. Como é que pode ser feito isso? Através de role plays, através de estudos de caso, então através destas formas nós conseguimos fazer a mensuração de segundo nível, que é a de aprendizado. Quando partimos para a aplicabilidade, nós estipulamos que treinamentos a partir de R$ 75 mil, então volume de investimento a partir de R$ 75 mil…
E este volume é por pessoa, ou é pela turma?
É pelo projeto. Pode ser que o projeto que de acordo com a característica, uma turma tenha o valor de R$ 75 mil, como pode ser que várias turmas resultem em um valor final de projeto igual ou superior a R$ 75 mil. Neste caso a natureza do treinamento pouco importa, mas olhamos se é técnico, ou comportamental, ou técnico e comportamental. Importa também para nós o quanto que este conteúdo está mais próximo daquilo que a estratégia da organização se propõe a entregar para o mercado e para dentro de casa também. Quando olhamos para o ROI, falamos de programas que têm um volume de pessoas bastante elevado. O que é um volume de pessoas bastante elevado? Quando treinamos pelo menos 200 pessoas. Porém, não é apenas este critério que define, o volume de investimento também é muito relevante. Então, a partir dos R$ 250 mil são projetos que são elegíveis para fazer mensuração de quarto e/ou de quinto nível, mas também tem que conversar bastante com a estratégia da organização. Então, são estes os critérios em geral que colocamos para cada um dos níveis.
E para os dois últimos níveis, quarto e quinto, respectivamente resultados e ROI, quantos por cento dos programas vocês avaliam até este estágio?
Olha, hoje temos da ordem de 2 a 3% de todos os programas. Se olharmos a recomendação teórica, nós estamos dentro, que é até 10%. Até 10%! Mas o fato é que já é bem desafiador fazer apenas um. Este ano nós entregamos 3!
Qual a recomendação que você daria para aqueles que pensam em trilhar este desafio?
A melhor recomendação que eu posso dar é que primeiro conheça bastante a metodologia de impacto e ROI. Não é trivial. É importante também que reconheçamos que dentro de recursos humanos nós não necessariamente temos necessariamente as pessoas com a competência para fazer isso, portanto nós precisamos nos alinhar a algumas áreas que detêm este know how técnico, matemáticos, pessoas de estatística, econometristas, que detêm conhecimento acadêmico, portanto técnico e muitas vezes o prático já, para nos apoiar no desenvolvimento do ROI, ou do impacto de educação. E, saber que vai ter bastante trabalho para fazer esta que é a sua prioridade, e a sua importância no dia a dia será a importância de demais áreas da organização. Então esta é a maior dica que eu dou e que seja bastante persistente!
Ok, muito obrigado Rafael!
