Aprender com a surpresa

Como o cérebro aprende por erro de predição, por que a evitação mantém o medo e como a exposição o desfaz

Nos anos 1990, Wolfram Schultz registrou neurônios de dopamina em macacos que recebiam um gole de suco logo depois de uma luz acender. No começo, os neurônios disparavam quando o suco chegava. Com o treino, passaram a disparar quando a luz acendia — e, se o suco deixasse de vir, silenciavam exatamente no momento em que ele era esperado. Esses neurônios não sinalizam o prazer em si, mas a surpresa: a diferença entre o que aconteceu e o que se esperava.

Essa diferença tem nome — erro de predição, representado pela letra grega δ (delta) — e cabe numa linha. Ela é o motor de uma família de modelos de aprendizagem usados tanto em neurociência quanto em inteligência artificial:

δ = o que aconteceu agora + o que espero daqui em diante − o que eu esperava

Quando δ é positivo, a situação foi melhor que o previsto e o valor do que veio antes aumenta. Quando é negativo, diminui. Os dois experimentos abaixo rodam esse modelo de verdade, no seu navegador.

1. A pista que passa a valer

Uma pista aparece no primeiro quadro; a recompensa chega no último. Cada tentativa percorre os quadros da esquerda para a direita. Clique algumas vezes em Uma tentativa e acompanhe para onde o δ vai.

O que se vê é a assinatura descrita por Schultz: o δ nasce na recompensa e, tentativa a tentativa, migra para a pista. Depois do treino, a recompensa já não surpreende — quem carrega a informação é a pista. E retirar a recompensa produz um δ negativo exatamente onde ela era esperada, o equivalente à pausa da dopamina. Com λ baixo, a notícia anda para trás um quadro por tentativa; com λ alto, salta para a pista quase de imediato.

2. Evitação ansiosa

Agora o modelo precisa escolher caminhos. Ele parte da esquerda e ganha um prêmio ao chegar à direita; cada passo custa um pouco, então o melhor é ir em linha reta (12 passos). No meio do caminho há uma zona vermelha que dá um choque. Siga os botões na ordem.

O experimento mostra três coisas que vemos todos os dias nos transtornos de ansiedade:

• O medo se espalha para trás. O valor negativo não fica só na zona: ele sobe pelo caminho que leva até ela, porque o modelo credita a trajetória inteira. Quem teve um ataque de pânico no ônibus passa a temer o ponto de ônibus.
• O alívio reforça a esquiva. Cada desvio bem-sucedido é melhor que o esperado — δ positivo. A evitação não se mantém só pelo medo, mas porque é recompensada pelo alívio.
• O tempo, sozinho, não cura. Depois que o perigo some, o modelo continua pagando o desvio: como não volta lá, nada pode lhe mostrar que a ameaça acabou. A esquiva bloqueia a própria informação que a desmentiria. Só voltar — a exposição — desfaz o aprendizado, e uma única travessia costuma não bastar.

É por isso que a exposição gradual, combinada e acompanhada, é parte central do tratamento de fobias, pânico e outros quadros ansiosos. Ela não é “enfrentar na marra”: é dar ao cérebro a chance de registrar a surpresa de que nada de ruim aconteceu — quantas vezes forem necessárias.

Sobre esta aula: versão simplificada da bancada TD(λ) que uso no ensino de residentes e alunos de Medicina. O modelo é deliberadamente pequeno (aprendizagem por diferença temporal com traço de elegibilidade; taxa de aprendizagem 0,3, desconto 0,95, 10% de ações ao acaso) e serve para ilustrar princípios, não para descrever uma pessoa.
Para saber mais: Schultz W, Dayan P, Montague PR. Science. 1997;275:1593–9 · Sutton RS, Barto AG. Reinforcement Learning: An Introduction. 2ª ed. MIT Press; 2018 · Craske MG et al. Behav Res Ther. 2014;58:10–23 (exposição e aprendizagem inibitória).
Este conteúdo é educativo e não substitui consulta médica.