Hi, we’re back with Roy Phitayakorn and now we’re going to talk about the adaptive learning technology.
I’m Wagner Cassimiro and this is the Espresso3.
Hi Roy!
Hello again!
What are the benefits of the adaptive learning technologies?
I think the adaptive learning technologies real benefit is that it can take a lot of the work off of the instructor or faculty in terms of it can be exhausting to try and meet with each student individually and figure out where they are. The question is, I think, wouldn’t it be great to have an automated or technology version of a coach? Basically, help students realize where are their deficiencies and then how can they improve.
And how does it work?
So, I think, many different groups are trying different things. I think at the best or most ideal level it would be some sort of machine learning algorithm that would be running in the background and would understand the student very well and would basically help the student understand that, yes, they need to focus on certain areas that they are not particularly strong in. But, other groups, and until we get there, I think, are focusing on more the low hanging fruit. So, for example, we worked with a company called Area9 and this is in my role with the New England Journal of Medicine and we developed a product together called Knowledge Plus, that basically uses an adaptive learning algorithm that helps students basically understand where are their issues. So, you ask them a question, right? Multiple choice question, and then it also asks them how confident are they that they have the question correct. Basically, the questions that they miss, but they were very confident they had correct are then recycled to them more often than the questions that they got correct and also, they knew they were correct.
It kind of helps the learner understand and kind of ask themselves “do I really understand this material?”. And then serves it back to them.
OK! Now I’d like you to share an experience that you have been seeing lately.
Yeah, absolutely! So, in our work with adaptive learning we’ve seen a couple interesting things. For example, you may have a person who is studying for the Internal Medicine Board exam. An endocrinology fellow. If you look at the learner analytics of their progress as they move through a product such as Knowledge Plus, it turns out that even though they are an endocrinology fellow, the questions they do most frequently, in this studying package, are our endocrinology questions. Which at first makes no sense, because this is a person with advanced training in endocrinology, but then you realize it’s human nature, it’s human behavior, that we want to do things that we do well at. We don’t want to do things that we’re going to get wrong or miss. This is where adaptive learning comes into place, it removes some of the choice, some of the blind spots that learners have and say “you know what? you really need to focus on cardiology, because you’re an endocrinology fellow, you already know endocrine! So here are some cardiology questions that you should do”.
And do you already have some results to show?
Right! So, we’re just finishing up a study with the American Board of Internal Medicine. It has not been published yet. But basically, it shows that physicians that are studying for their recertifying exam for the American Board of Internal Medicine actually do almost 13% better when they use a product like Knowledge Plus that has adaptive learning features than if they just study on their own.
That’s very powerful results and really shows the possibility of the future of adaptive learning technologies.
We know that this subject is very new, but do you have trend that you believe that we can invest?
I have nothing that we can invest in just yet, but I certainly think that the technologies are only going to continue to improve. Specifically, around the machine learning piece, because basically we just need data. We need a computer system that’s powerful enough but still accessible.
The thing I worry about is this kind of privatization of education. I worry because it disenfranchises then people who can’t afford that education. And I think this is a problem all over the world. My only concern is really that, I think it’s great to keep using technologies, investing in technologies, but it should be open and free to everybody. That’s my biggest hope. Is that we as a society realize that, because ultimately, you’re trying to train doctors who will then help the world, not just trying to help somebody, get into medical school and then do some sort of residency. It’s really about the societal benefit of this education.
Thank you so much!
Thank you!
TRADUÇÃO
Oi, estamos de volta com Roy Phitayakorn e agora vamos falar sobre a tecnologia de aprendizagem adaptativa.
Eu sou Wagner Cassimiro e este é o Espresso3.
Oi Roy!
Olá de novo!
Quais são os benefícios das tecnologias de aprendizagem adaptativa?
Acredito que o verdadeiro beneficio as tecnologias de aprendizagem adaptativa é que podem tirar muito do trabalho do instrutor ou do professor, em termos de ser exaustivo tentar encontrar cada aluno individualmente e descobrir onde eles estão. A questão é, eu acho, não seria ótimo ter uma versão automatizada ou tecnológica de um coach? Basicamente, ajuda os alunos a perceber onde estão suas deficiências e como eles podem melhorar.
E como funciona?
Então, eu acho que muitos grupos diferentes estão tentando coisas diferentes. Acho que no nível ideal, seria algum tipo de algoritmo de machine learning funcionando em segundo plano e que entenderia muito bem o aprendiz e basicamente o ajudaria a entender que, sim, eles precisam se concentrar em certas áreas nas quais eles não são particularmente fortes. Mas, outros grupos, e até chegarmos lá, penso eu, estão concentrando mais no nível mais baixo. Então, por exemplo, trabalhamos com uma empresa chamada Area9 e isso está na minha função no New England Journal of Medicine e desenvolvemos um produto chamado Knowledge Plus, que basicamente usa um algoritmo de aprendizagem adaptativa que ajuda os alunos a entenderem basicamente onde estão seus problemas. Então, você faz uma pergunta, certo? Pergunta de múltipla escolha, e também pergunta a eles o quão confiantes estão de que acertaram a pergunta. Basicamente, as perguntas que eles erram, mas eles estavam muito confiantes de que estavam corretos, são recicladas para eles com mais frequência do que as perguntas que eles acertaram e também, eles sabiam que estavam corretos.
Isso ajuda o aluno a entender e perguntar a si mesmo “eu realmente entendo esse material?”. E então serve de volta para eles.
OK! Agora eu gostaria que você compartilhasse uma experiência que você tem visto ultimamente.
Sim, com certeza. Então, em nosso trabalho com aprendizagem adaptativa, vimos algumas coisas interessantes. Por exemplo, você pode ter uma pessoa que está estudando para o exame do Internal Medicine Board. Um endocrinologista em treinamento. Se você observar os números do aprendiz sobre seu progresso à medida que avança em um produto como o Knowledge Plus, verifica-se que, embora seja um endocrinologista, as perguntas mais frequentes, neste pacote de estudo, são nossas questões endocrinológicas. O que a princípio não faz sentido, porque é uma pessoa com treinamento avançado em endocrinologia, mas então você percebe que é a natureza humana, é o comportamento humano, que queremos fazer coisas que fazemos bem. Nós não queremos fazer coisas que vamos errar ou perder. É aqui que a aprendizagem adaptativa entra, elimina algumas das escolhas, alguns dos pontos cegos que os alunos têm e diz “sabe de uma coisa? Você realmente precisa se concentrar em cardiologia, porque você é um endocrinologista, você já conhece o sistema endócrino! Então, aqui estão algumas questões de cardiologia que você deve fazer “.
E você já tem alguns resultados para mostrar?
Certo! Então, estamos terminando um estudo com o American Board of Internal Medicine. Ainda não foi publicado. Mas basicamente, mostra que os médicos que estão estudando para o exame de recertificação para o American Board of Internal Medicine, na verdade, vão quase 13% melhor quando usam um produto como o Knowledge Plus que possui recursos de aprendizagem adaptativa do que se eles estudassem sozinhos.
Estes são resultados muito poderosos e realmente mostra a possibilidade do futuro das tecnologias de aprendizagem adaptativa.
Sabemos que esse assunto é muito novo, mas você tem tendências que acredita que podemos investir?
Não tenho nada em que possamos investir ainda, mas certamente acho que as tecnologias só vão continuar a melhorar. Especificamente, em torno de machine learning, porque basicamente precisamos apenas de dados. Precisamos de um sistema de computador que seja poderoso o suficiente, mas ainda acessível.
O que me preocupa é esse tipo de privatização da educação. Eu me preocupo porque isso priva as pessoas que não podem pagar por essa educação. E eu acho que isso é um problema em todo o mundo. Minha única preocupação é realmente isso, eu acho que é ótimo continuar usando tecnologias, investindo em tecnologias, mas deve ser aberto e gratuito para todos. Essa é minha maior esperança. Que nós, como sociedade, percebamos isso, porque no final das contas, você está tentando formar médicos que ajudarão o mundo, não apenas tentando ajudar alguém a entrar na faculdade de medicina e depois fazer algum tipo de residência. É realmente sobre o benefício social desta educação.
Certo. Muito obrigado!
Obrigado!
