Hi I’m back and my next guest is Will Thalheimer, a learning expert and we will talk about the learner-feedback. I’m Wagner Cassimiro and this is the Espresso3.
Hi Will, thank you so much!
It’s great to be here Wagner.
My question is about the learner-feedback. What are the main problems?
Well typically we want to get good feedback from our learners, we’re asking them to give us insights about how effective the course has been. Couple of problems with that.
Number one, there’s research that show that learners don’t always know how learning works. So, we should be a little bit skeptical of their answers. We really need to support them. This doesn’t mean that we shouldn’t ask them, but we have to do it in a way that gives us that valid feedback. So, that’s number one.
Number two, and this is the big one, we rely too much on these learner surveys. It’s the only thing that we do. That’s not good! That’s not good enough!
The other thing, we use methodologies that don’t tell us how effective the learning is. It does give us a sense, the typical way we do it gives us a sense of whether the learners like it, whether they think it’s valuable, but there’s actual research, scientific research to show that the typical way we do it, results of the learner-feedback is not correlated with learning results. So, what that means practically is we can get really good results and have a good course or a bad course. We can get really bad results and have a badly, a poorly designed course or a well-designed course. With traditional smile sheets, happy-sheets, whatever you call them, we just can’t tell.
So, those are some of the major problems and you can see they’re huge, right?
So, what are the solutions?
One of the thing we can do is not use Likert-like scales. They’re a problem. Not use numeric scales, because the answer choices are fuzzy. We have to use choices that are more concrete. So, let me try to give you an example.
We ask people “Are you going to be able to put this into practice in your work?”. They can say “no, I’m not able to put this into practice!”. They can say “yes, well, I sort of have some awareness of the concepts, but I don’t know how to use them”. You can see how that’s much more clear. That helps the learners make better decisions and it gives us better data, because we can see what they actually wanted to tell us. Before, if they had to choose between strongly agree and agree, we don’t know really what that means.
So, that’s the main thing.
OK, and what are the main actions that the companies must do to change their feedback?
Well, first they have to recognize there is a problem with the old methods, because we’ve been using them for so many years.
I just had a session today, there were, I don’t know, 600 people in there and you can see people going “Oh my gosh! I can’t believe we’re doing this|. So just hearing about it, learning about it, that’s the first thing.
The next thing, you need to, it’s a change management effort. In other words, you have to think about the stakeholders, the people involved, because there might be some resistance. So, you have to do smart things, you know. You have to educate people, you have to let them know what’s going on, you have to show them the down sides, you have to bring in really good looking experts to help you talk about it, things like that. I’m joking!
So, my last question is about where I can get more information.
Two places. I have a book. The book’s website is smile-sheets.com. And people can also access my work and find out about me at worklearning.com. That’s my main website and the book’s website is smile-sheets.com.
And what’s the name of your book?
The name of the book is, Performance Focused Smile-sheets – A Radical Rethinking of a Dangerous Art Form.
Thank you!
It’s a pleasure Wagner.
TRADUÇÃO
Oi eu estou de volta e meu próximo convidado é Will Thalheimer, um especialista em aprendizagem e vamos falar sobre o feedback do participante. Eu sou Wagner Cassimiro e este é o Espresso3.
Oi Will, muito obrigado!
É ótimo estar aqui, Wagner.
Minha pergunta é sobre o feedback do participante. Quais são os principais problemas?
Bem, normalmente queremos obter um bom feedback de nossos participantes, e pedimos que nos deem insights sobre a eficácia do curso. Há alguns problemas com isso.
Número um, há pesquisas que mostram que os alunos nem sempre sabem como a aprendizagem funciona. Então, devemos ser um pouco céticos em relação às suas respostas. Nós realmente precisamos apoiá-los. Isso não significa que não devamos perguntar, mas temos que fazer isso de uma forma que nos dê uma resposta válida. Então, esse é o número um.
Número dois, e esse é o maior, confiamos demais nessas pesquisas com os participantes. É a única coisa que fazemos. Isso não é bom! Não é bom o suficiente!
A outra coisa, usamos metodologias que não nos dizem quão eficaz é a aprendizagem. Isso nos dá uma noção, a maneira típica como fazemos nos dá uma noção se os participantes gostam, se eles acham que é valioso, mas há pesquisas reais, pesquisas científicas para mostrar que a maneira típica como fazemos isso, os resultados do feedback do participante não estão correlacionados com os resultados da aprendizagem. Então, o que isso significa na prática é que podemos obter resultados realmente bons e ter um curso bom ou um curso ruim. Podemos obter resultados realmente ruins e ter um curso ruim, mal projetado ou um curso bem planejado. Com escalas de sorriso, escalas de emoção tradicionais, seja lá como você os chama, simplesmente não podemos dizer.
Então, esses são alguns dos maiores problemas e você pode ver que eles são enormes, certo?
Então, quais são as soluções?
Uma das coisas que podemos fazer é não usar escalas Likert. Elas são um problema. Não use escalas numéricas, porque as opções de resposta são confusas. Temos que usar opções que sejam mais concretas. Então, deixe-me tentar dar um exemplo.
Perguntamos às pessoas “Vocês serão capazes de colocar isso em prática no seu trabalho?”. Eles podem dizer “não, eu não posso colocar isso em prática!” Eles podem dizer “sim, bem, eu meio que tenho consciência dos conceitos, mas não sei como usá-los”. Você pode ver como isso é muito mais claro. Isso ajuda os participantes a tomar melhores decisões e nos dá melhores dados, porque podemos ver o que eles realmente queriam nos dizer. Antes, se tivessem que escolher entre concordar e concordar fortemente, não sabemos realmente o que isso significa.
Então, isso é o principal.
OK, e quais são as principais ações que as empresas devem fazer para mudar seu feedback?
Bem, primeiro eles têm que reconhecer que há um problema com os métodos antigos, porque os usamos há tantos anos.
Eu acabei de ter uma sessão hoje, tinha umas, sei lá, 600 pessoas e você pode ver as pessoas dizendo “Oh, meu Deus! Eu não acredito que fazemos isso”. Então, apenas ouvindo sobre isso, aprendendo sobre isso, essa é a primeira coisa.
A próxima coisa, você precisa, é um esforço de gestão da mudança. Em outras palavras, você tem que pensar nos stakeholders, as pessoas envolvidas, porque pode haver alguma resistência. Então, você tem que fazer coisas inteligentes, você sabe. Você tem que educar as pessoas, você tem que deixá-los saber o que está acontecendo, você tem que mostrar-lhes as desvantagens, você tem que trazer especialistas muito bonitos para ajudá-lo a falar sobre isso, coisas assim. Estou brincando!
Então, minha última pergunta é sobre onde posso obter mais informações.
Dois lugares. Eu tenho um livro. O site do livro é smile-sheets.com. E as pessoas também podem acessar meu trabalho e me pesquisar em worklearning.com. Esse é o meu site principal e o site do livro é smile-sheets.com.
E qual é o nome do seu livro?
O nome do livro é Performance Focused Smile-sheets – A Radical Rethinking of a Dangerous Art Form.
Obrigado!
É um prazer Wagner.