Machine Translated by Google

Perspectiva
https://doi.org/10.1038/s41593-018-0152-y

O que significa dopamina?

Joshua D. Berke

A dopamina é um modulador crítico da aprendizagem e da motivação. Isso apresenta um problema: como as células-alvo podem saber se
o aumento da dopamina é um sinal para aprender ou se mover? Muitas vezes, presume-se que a motivação envolve mudanças lentas
('tônicas') da dopamina, enquanto flutuações rápidas ('fásicas') da dopamina transmitem erros de previsão de recompensa para o
aprendizado. No entanto, estudos recentes mostraram que a dopamina transmite valor motivacional e promove o movimento mesmo em
escalas de tempo de subsegundos. Aqui eu descrevo um relato alternativo de como a dopamina regula o comportamento contínuo. A
liberação de dopamina relacionada à motivação é rápida e localmente esculpida por receptores nos terminais de dopamina,
independentemente do disparo das células de dopamina. Os neurônios-alvo alternam abruptamente entre os modos de aprendizado e desempenho, co
O impacto comportamental da dopamina varia de acordo com a sub-região, mas em cada caso a dopamina fornece uma estimativa
dinâmica sobre se vale a pena gastar um recurso interno limitado, como energia, atenção ou tempo.

A dopamina é um sinal de aprendizado, motivação ou ambos?. Nossa
compreensão da dopamina mudou no passado e está mudando mais uma vez.
Uma distinção crítica é entre os efeitos da dopamina no comportamento atual
(desempenho) e os efeitos da dopamina no comportamento futuro (aprendizado).
Ambos são reais e importantes, mas em vários momentos um foi a favor e o outro
não.
Quando (na década de 1970) se tornou possível realizar lesões seletivas e
completas das vias de dopamina, a consequência comportamental óbvia foi uma
redução severa no movimento1 . Isso se encaixa com os efeitos acinéticos da perda
de dopamina em humanos produzidos pela doença de Parkinson avançada, drogas
tóxicas ou encefalite2 . No entanto, nem os ratos nem os humanos exibem uma
incapacidade fundamental de se mover. Ratos com lesão de dopamina nadam em
água fria3 , e pacientes acinéticos podem se levantar
e correr se um alarme de incêndio soar (chamado 'cinesia paradoxal'). Tampouco
há um déficit básico na apreciação de recompensas: ratos com lesão de dopamina
consomem alimentos colocados em suas bocas e mostram sinais de que estão
gostando4 . Em vez disso, eles não escolherão se esforçar para obter recompensas
ativamente. Esses e muitos outros resultados estabeleceram uma ligação
fundamental entre dopamina e motivação5 . Mesmo a lentidão do movimento
observada em casos menos graves da doença de Parkinson pode ser considerada
um déficit motivacional, refletindo decisões implícitas de que não vale a pena
gastar a energia necessária para movimentos mais rápidos . macacos comportados
(em áreas do .
mesencéfalo que se projetam para o prosencéfalo: área tegmental ventral, VTA
e substância negra pars compacta, SNc). Entre os padrões de disparo observados,
havia breves rajadas de atividade a estímulos que disparavam movimentos
imediatos. Esse disparo fásico de dopamina foi inicialmente interpretado como
suporte à ativação comportamental7 e à excitação motivacional8 — em outras
palavras, como revigorante do comportamento atual do animal.
Uma mudança radical ocorreu na década de 1990, com a reinterpretação dos
surtos fásicos de dopamina como codificação de erros de predição de recompensa
(RPEs)9 . Isso foi baseado em uma observação importante: as células de dopamina
respondem a estímulos inesperados associados a recompensas futuras, mas
frequentemente param de responder se esses estímulos se tornam esperados10. A
ideia do RPE originou-se em teorias de aprendizado anteriores e especialmente no
campo da ciência da computação em desenvolvimento de aprendizado por
reforço11 . O objetivo de um sinal RPE é atualizar valores (estimativas de
recompensas futuras). Esses valores são usados posteriormente, para ajudar a fazer escolhas
recompensa quanto os RPEs aumentam simultaneamente, mas isso nem sempre é
que maximizam a recompensa. Como o disparo de células de dopamina se
assemelhava aos RPEs e os RPEs são usados para o aprendizado, tornou-se
natural enfatizar o papel da dopamina no aprendizado. Manipulações optogenéticas
posteriores confirmaram a identidade dopaminérgica das células que codificam o
EPR12,13 e mostraram que elas realmente modulam o aprendizado14,15.
A ideia de que a dopamina fornece um sinal de aprendizado se encaixa
perfeitamente com a literatura de que a dopamina modula a plasticidade sináptica
no corpo estriado, o principal alvo da dopamina no prosencéfalo. Por exemplo, a
tripla coincidência de estimulação de glutamato de uma espinha dendrítica estriatal,
despolarização pós-sináptica e liberação de dopamina faz com que a espinha
cresça16. A modulação dopaminérgica dos mecanismos de aprendizado de longo
prazo ajuda a explicar os efeitos comportamentais persistentes de drogas viciantes,
que compartilham a propriedade de aumentar a liberação de dopamina estriatal17.
Mesmo a acinesia profunda com perda de dopamina pode ser parcialmente
explicada por tais mecanismos de aprendizado18. A falta de dopamina pode ser
tratada como um RPE constantemente negativo que atualiza progressivamente os
valores das ações em direção a zero. Efeitos semelhantes progressivos e
semelhantes ao da extinção no comportamento podem ser produzidos por
antagonistas da dopamina19,20.
No entanto, a ideia de que a dopamina está criticamente envolvida na motivação
contínua nunca desapareceu - pelo contrário, é amplamente aceita pelos
neurocientistas comportamentais. Isso é apropriado, dada a forte evidência de que
as funções da dopamina na motivação, movimento e revigoramento são dissociáveis
do aprendizado15,20–23. Menos apreciado é o desafio envolvido em reconciliar
esse papel motivacional com a teoria de que a dopamina fornece um sinal de
aprendizado de RPE.
Motivação 'olha para frente': ela usa previsões de recompensa futura (valores)
para energizar adequadamente o comportamento atual. Em contraste, a
aprendizagem “olha para trás” em estados e ações no passado recente e atualiza
seus valores. São fases complementares de um ciclo: os valores atualizados podem
ser usados na tomada de decisões subsequentes se esses estados forem
reencontrados, atualizados novamente e assim por diante.
Mas em qual fase do ciclo a dopamina está envolvida, usando valores para tomar
decisões (desempenho) ou atualizando valores (aprendizado)?
Em algumas circunstâncias, é fácil imaginar a dopa mine desempenhando
ambos os papéis simultaneamente24. Sugestões inesperadas e preditivas de
recompensa são os eventos arquetípicos para evocar o disparo e a liberação de
células de dopamina, e tais sugestões tipicamente revigoram o comportamento e
evocam o aprendizado (Fig. 1 ). Nesta situação particular, tanto a previsão de

Departamentos de Neurologia e Psiquiatria, e Kavli Institute for Fundamental Neuroscience, University of California, San Francisco, San Francisco, CA,
EUA. e-mail: joshua.berke@ucsf.edu

Natureza Neurociência | VOL 21 | JUNHO 2018 | 787–793 | www.nature.com/natureneuroscience 787

© 2018 Nature America Inc., parte da Springer Nature. Todos os direitos reservados.
Machine Translated by Google
Perspectiva
Passado presente futuro
Fig. 1 | Dopamina: atualizando o passado, revigorando o presente. Acima:
Os círculos com setas representam os estados e as ações potenciais desses
estados. As larguras das setas indicam os valores aprendidos da execução de
cada ação. À medida que estados e ações desaparecem no passado, eles são
progressivamente menos elegíveis para reforço. Meio: ocorre uma explosão de
dopamina. O resultado é o fortalecimento das ações disponíveis do estado atual
(vermelho) e a plasticidade das representações de valor para ações realizadas
recentemente (roxo). Abaixo: como resultado da plasticidade, na próxima vez que
esses estados forem encontrados, seus valores associados aumentarão (largura das setas). dopamina mesolímbica, medida por microdiálise, se correlaciona com a taxa de
Por meio da experiência repetida, o aprendizado por reforço pode criar um sulco no
espaço de estado, tornando certas trajetórias cada vez mais prováveis.
Além desse papel de aprendizado, o papel revigorante e de desempenho da
dopamina parece acelerar o fluxo ao longo de trajetórias previamente aprendidas.
O caso. Como apenas um exemplo, as pessoas e outros animais muitas vezes são
motivados a trabalhar por recompensas, mesmo quando pouco ou nada de
surpreendente ocorre. Eles podem trabalhar cada vez mais à medida que se aproximam
cada vez mais da recompensa (o valor aumenta à medida que as recompensas se
aproximam). A questão é que aprendizado e motivação são conceitualmente,
recebê-la.
computacionalmente e comportamentalmente distintos, mas a dopamina parece fazer as duas coisas. Essa dinâmica rápida da dopamina também pode explicar os resultados da
A seguir, avalio criticamente as ideias atuais sobre como a dopamina é capaz de
atingir funções motivacionais e de aprendizado. Proponho um modelo atualizado,
baseado em três fatos principais: (i) a liberação de dopamina dos terminais não surge
simplesmente do disparo de células de dopamina, mas também pode ser controlada
localmente; (ii) a dopamina afeta tanto a plasticidade sináptica quanto a excitabilidade
das células-alvo, com consequências distintas para o aprendizado e o desempenho,
respectivamente; e (iii) os efeitos da dopamina na plasticidade podem ser ativados ou
desativados por elementos de circuito próximos. Juntos, esses recursos podem permitir
que os circuitos cerebrais alternem entre duas mensagens distintas de dopamina, para
aprendizado e motivação, respectivamente.
Existem sinais de dopamina fásicos e tônicos separados, com significados
diferentes?. Muitas vezes, argumenta-se que os papéis motivacionais e de
aprendizagem da dopamina ocorrem em diferentes escalas de tempo25.
As células de dopamina disparam continuamente (tonicamente) em alguns picos por
segundo, com ocasionais breves rajadas (fásicas) ou pausas. Explosões,
788
© 2018 Nature America Inc., parte da Springer Nature. Todos os direitos reservados.
NaTure Neuroscience
especialmente se sincronizados artificialmente através das células de dopamina, levam
a aumentos rápidos correspondentes na dopamina26 do prosencéfalo que são altamente
transitórios (duração de subsegundos27). A contribuição separada do disparo de
células tônicas de dopamina para as concentrações de dopamina no prosencéfalo é
menos clara. Algumas evidências sugerem que essa contribuição é muito pequena28.
Pode ser suficiente produzir estimulação quase contínua dos receptores D2 de maior
afinidade, permitindo que o sistema perceba breves pausas no disparo das células de
dopamina29 e use essas pausas como erros de previsão negativa.
A microdiálise tem sido amplamente utilizada para medir diretamente os níveis de
dopamina no prosencéfalo, embora com baixa resolução temporal (normalmente com
média de muitos minutos). Essas medições lentas da mina de dopa podem ser difíceis
de relacionar com precisão ao comportamento. No entanto, a microdiálise de dopamina
no núcleo accumbens (NAc; estriado ven tromedial) mostra correlações positivas com
a atividade locomotora30 e outros índices de motivação5 . Isso tem sido amplamente
considerado como significando que há mudanças lentas (tônicas) na concentração de
dopamina e que essas mudanças lentas transmitem um sinal motivacional.
Mais especificamente, modelos computacionais propuseram que os níveis de dopamina
tônica acompanham a taxa média de recompensa de longo prazo31, uma variável
motivacional útil para alocação de tempo e decisões de forrageamento. Vale a pena
enfatizar que pouquíssimos artigos definem claramente 'tônica dopa mina'; eles
geralmente assumem apenas que a concentração de dopamina muda lentamente ao
longo da escala de tempo de vários minutos da microdiálise.
No entanto, esta 'dopamina fásica = aprendizagem; A visão tônica dopamina =
motivação enfrenta muitos problemas. Em primeiro lugar, não há evidência direta de
que o disparo de células tônicas de dopamina normalmente varie em escalas de tempo lentas.
As taxas de disparo tônico não mudam com a mudança de motivação32,33. Tem sido
argumentado que os níveis tônicos de dopamina mudam devido a uma mudança na
proporção de células de dopamina ativas34,35. Mas em muitos estudos em animais
sem drogas e sem lesões, nunca foi relatado que as células de dopamina alternam
entre os estados silencioso e ativo.
Além disso, o fato de a microdiálise medir os níveis de dopamina lentamente não
significa que os níveis de dopamina realmente mudem lentamente. Recentemente,
examinamos a dopamina NAc de rato em uma tarefa de recompensa probabilística,
usando microdiálise e voltametria cíclica de varredura rápida. Confirmamos que a
recompensa (recompensas por minuto).
No entanto, mesmo com uma resolução temporal de microdiálise aprimorada (1 min), a
dopamina flutuou tão rápido quanto a amostramos: não vimos nenhuma evidência de
um sinal de dopamina inerentemente lento.
Usando a resolução temporal ainda mais fina da voltametria, observamos uma
estreita relação entre as flutuações de dopamina em subsegundos e a motivação. À
medida que os ratos realizavam a sequência de ações necessárias para obter
recompensas, a dopamina subia cada vez mais, atingindo um pico assim que obtinham
a recompensa (e caindo rapidamente conforme a consumiam). Mostramos que a
dopamina se correlacionou fortemente com o valor instantâneo do estado, definido
como a recompensa futura esperada, descontada pelo tempo esperado necessário para
microdiálise, sem invocar sinais de dopamina separados em diferentes escalas de
tempo. À medida que os animais experimentam mais recompensas, eles aumentam
suas expectativas de recompensas futuras em cada etapa da sequência de tentativas.
Em vez de um sinal de taxa de recompensa média de evolução lenta, a correlação entre
dopamina e taxa de recompensa é melhor explicada como uma média, ao longo do
tempo prolongado de coleta de amostras de microdiálise, desses valores de estado de
rápida evolução.
Essa interpretação do valor da liberação de dopamina mesolímbica é consistente
com os resultados da voltametria de outros grupos de pesquisa, que descobriram
repetidamente que a liberação de dopamina aumenta com o aumento da proximidade
da recompensa36-38 (Fig. 2). Este sinal motivacional não é inerentemente 'lento', mas
pode ser observado em uma escala contínua de escalas de tempo. Embora as rampas
de dopamina possam durar vários segundos quando um comportamento de abordagem
também dura vários segundos38, isso reflete o curso do tempo do comportamento, em
vez da dinâmica intrínseca da dopamina. A relação entre mesolímbico
Natureza Neurociência | VOL 21 | JUNHO 2018 | 787–793 | www.nature.com/natureneuroscience
Machine Translated by Google

NaTure Neuroscience Perspectiva

a b c
Objetivo Objetivo
Clique Distal Imprensa Porto Alimentar – em
de teste curto de teste longo
12 proximal

10 Recompensa

Dopamina
(nM)
4

–2 10 segundos

–1 0 1 2 3 4 5 6 78 –4 ÿ2 0 2 4s

Tempo(s)

e 0
d Número de recompensas
1.2
1 nas últimas 10 tentativas

trabalho
valor
do Recompensa

deixa
0,75 0,8
8–10
6–7
3–5
0–2
ÿ0,4

ÿ0,8
normalizada
ÿDopamina

Decisão 0,4
0,5
de começar

normalizada
ÿDopamina

ÿ 0,4
0,25 0
ÿ
normalizada
ÿDopamina

0
0 ÿ0,4
Hora de recompensar Obter
ÿ4 ÿ2 0 2 4
começar
a trabalhar recompensa
ÿ4 ÿ2 0 2 4
Tempo desde side-in (s)
Tempo desde side-in (s)

Fig. 2 | Flutuações rápidas de dopamina sinalizam expectativas de recompensa em evolução dinâmica. a-c, a liberação de dopamina mesolímbica aumenta rapidamente à
medida que os ratos se aproximam das recompensas antecipadas. d, o valor, definido como estimativas descontadas temporariamente da recompensa futura, aumenta à medida que a
recompensa se aproxima. Indicações que indicam que uma recompensa é maior, mais próxima ou mais certa do que o esperado anteriormente causam saltos de valor. Esses saltos de
um momento para o outro são RPEs de diferença temporal. e, Subtrair as linhas de base pode confundir o valor e os sinais de RPE. Esquerda: a dopamina alinhada à sugestão preditiva
de recompensa (no tempo zero), com subtração convencional da linha de base, parece mostrar que a dopamina salta para níveis mais altos quando a recompensa é menos
esperada (marrom), lembrando um sinal RPE. Certo: uma apresentação alternativa dos mesmos dados, igualando os níveis de dopamina após a sugestão, mostraria, em vez disso,
que os níveis de dopamina pré-sugestão dependem da expectativa de recompensa (valor). Análises adicionais determinaram que a apresentação do lado direito está mais próxima
da verdade (ver detalhes na ref. 15). Painel a reproduzido, com permissão, da ref. 38, Macmillan Publishers Limited.; painel b reproduzido, com permissão, da ref. 37, Elsevier;
painéis c–e reproduzidos, com permissão, da ref. 15, Macmillan Publishers Limited.

a liberação de dopamina e o valor flutuante são visíveis tão rápido quanto a
técnica de registro permite, ou seja, em uma escala de tempo de aproximadamente
100 ms com eletrodos de voltametria aguda15.
Flutuações rápidas de dopamina não apenas espelham a motivação, mas
também impulsionam imediatamente o comportamento motivado. Respostas
fásicas maiores das células dopaminérgicas aos sinais de gatilho preveem
tempos de reação mais curtos naquele mesmo ensaio39. A estimulação
optogenética das células de dopamina VTA torna os ratos mais propensos a
começar a trabalhar em nossa tarefa de recompensa probabilística15, como se
tivessem uma expectativa maior de recompensa. A estimulação optogenética de
neurônios dopaminérgicos SNc, ou seus axônios no estriado dorsal, aumenta a probabilidade de movimento40,41.
interpretação de algumas formas de dados neurais.
Criticamente, esses efeitos comportamentais são aparentes dentro de algumas
centenas de milissegundos do início da estimulação optogenética. A capacidade
de pistas preditivas de recompensa para aumentar a motivação parece ser
mediada pela modulação dopaminérgica muito rápida da capacidade de excitação
dos neurônios espinhosos NAc42. Uma vez que a dopamina está mudando
rapidamente e essas mudanças de dopamina afetam a motivação rapidamente,
as funções motivacionais da dopamina são melhor descritas como rápidas
(fásicas), não lentas (tônicas).
Além disso, invocar escalas rápidas e lentas separadas não resolve por si só
o problema de decodificação enfrentado pelos neurônios com receptores de
dopamina. Se a dopamina sinaliza o aprendizado, a modulação da plasticidade
sináptica pareceria uma resposta celular apropriada. Mas os efeitos imediatos no
comportamento motivado implicam efeitos imediatos no pico, por exemplo, por
meio de mudanças rápidas na excitabilidade.
A dopamina pode ter esses dois efeitos pós-sinápticos (e mais), então uma
determinada concentração de dopamina tem um significado específico?
Ou esse significado precisa ser construído, por exemplo, comparando os níveis
de dopamina ao longo do tempo ou usando outros sinais coincidentes para
determinar qual maquinário celular acionar? Esta possibilidade é discutida mais
abaixo.
A liberação de dopamina transmite a mesma informação que o disparo de
células de mina de dopa?. A relação entre flutuações rápidas de dopamina e
valor motivacional parece estranha, dado que o disparo de células de dopamina
se assemelha ao RPE. Além disso, alguns estudos relataram sinais de RPE na
liberação de dopamina mesolímbica43. É importante notar um desafio na
Sinais de valor e RPEs estão correlacionados entre si, o que não é surpreendente,
pois o RPE é geralmente definido como a mudança no valor de um momento para
o outro (RPE de 'diferença temporal'). Devido a essa correlação, é fundamental
usar projetos experimentais e análises que diferenciem o valor das contas RPE.
O problema é agravado quando se usa uma medida neural que depende de
mudanças de sinal relativas, em vez de absolutas. As análises de voltametria
geralmente comparam a dopamina em algum ponto de interesse a uma época
'base' anterior em cada tentativa (para remover componentes de sinal que não
são dependentes de dopamina, incluindo carregamento de eletrodo em cada
varredura de voltagem e desvio em uma escala de tempo de minutos). Mas
subtrair uma linha de base pode fazer com que um sinal de valor se assemelhe a
um sinal RPE. Isso é o que observamos em nossos próprios dados de voltametria
(Fig. 2e). Mudanças na expectativa de recompensa foram refletidas em mudanças
na concentração de dopamina no início de cada tentativa, e essas mudanças
são perdidas se alguém simplesmente assumir uma linha de base constante entre
as tentativas15. Conclusões sobre

Natureza Neurociência | VOL 21 | JUNHO 2018 | 787–793 | www.nature.com/natureneuroscience 789

© 2018 Nature America Inc., parte da Springer Nature. Todos os direitos reservados.
Machine Translated by Google
Perspectiva
liberação de dopamina e codificação RPE, portanto, precisam ser vistos com cautela.
Esse perigo de interpretação de dados se aplica não apenas à tentativa de
voltametria, mas a qualquer análise que dependa de mudanças relativas – incluindo
potencialmente alguma ressonância magnética funcional e fotometria44.
No entanto, ainda precisamos reconciliar a liberação de dopamina relacionada ao
valor no núcleo do NAc com a ausência consistente de aumento relacionado ao valor
pelos neurônios dopaminérgicos13, mesmo dentro da área VTA lateral que fornece
dopamina ao núcleo do NAc45. Um fator potencial é que as células de dopamina são
geralmente registradas em animais com restrição de cabeça realizando tarefas de
condicionamento clássico, enquanto a liberação de dopamina é tipicamente medida
em animais sem restrição que se movem ativamente em seu ambiente. Propusemos
que a dopamina mesolímbica pode indicar especificamente o valor do 'trabalho'15,
ou seja, que reflete uma exigência de dedicar tempo e esforço para obter a
recompensa. Consistente com isso, a dopamina aumenta com sinais que instruem o
movimento, mas não com sinais que instruem a imobilidade, mesmo quando indicam
recompensa futura semelhante46. Se, como em muitas tarefas de condicionamento
clássico, não houver benefício no trabalho ativo, então as alterações dopaminérgicas
que indicam o valor do trabalho podem ser menos aparentes.
Ainda mais importante pode ser o fato de que a liberação de dopamina pode ser
controlada localmente nos próprios terminais e, assim, mostrar padrões espaço-
temporais independentes do pico do corpo celular. Por exemplo, a amígdala
basolateral pode influenciar a liberação de NAc dopamina mesmo quando o VTA está
inativado47. Por outro lado, a inativação da amígdala basolateral reduz a liberação
de dopamina NAc e o comportamento motivado correspondente, aparentemente sem
afetar o disparo de VTA48. Os terminais de dopamina têm receptores para uma
variedade de neurotransmissores, incluindo glutamato, opioides e acetilcolina.
Os receptores nicotínicos de acetilcolina permitem que os interneurônios colinérgicos
estriatais (CINs) controlem rapidamente a liberação de dopamina49,50. Embora
tenha sido observado há muito tempo que o controle local da liberação de dopamina
é potencialmente importante7,51, isso não foi incluído nas contas computacionais
da função da dopamina. Eu proponho que a dinâmica de liberação de dopamina
relacionada à codificação de valor surge em grande parte por meio do controle local,
mesmo quando o disparo de células de dopamina fornece importantes sinais
semelhantes ao RPE para o aprendizado.
Como a dopamina pode significar aprendizado e motivação sem confusão? Em
princípio, um sinal de valor é suficiente para transmitir RPE também, uma vez que
RPEs de diferença temporal são simplesmente mudanças rápidas de valor (Fig. 2d).
Por exemplo, vias intracelulares distintas em neurônios-alvo podem ser diferentesmente Dombeck40 relataram atividade fásica da dopamina relacionada a movimentos
sensíveis à concentração absoluta de dopamina (representando valor) versus
mudanças relativas rápidas na concentração (representando RPE). Este esquema
parece plausível, dada a complexa modulação da dopamina da fisiologia do neurônio
espinhoso52 e sua sensibilidade a padrões temporais de concentração de cálcio53.
No entanto, isso também parece um tanto redundante. Se um sinal semelhante ao
RPE já existe no pico de células de dopamina, deve ser possível usá-lo em vez de
derivar novamente o RPE de um sinal de valor.
Para usar apropriadamente RPE distinto e sinais de valor, os circuitos receptores
de dopamina podem mudar ativamente como eles interpretam a dopamina.
Há evidências intrigantes de que a acetilcolina também pode desempenhar esse
papel de comutação. Ao mesmo tempo em que as células de dopamina disparam
rajadas de picos para sinais inesperados, os CINs mostram pausas breves (~ 150
ms) no disparo, que não escalam com RPEs54. Essas pausas da NIC podem ser
conduzidas por neurônios VTA GABAérgicos55 ou por células relacionadas à
'surpresa' no tálamo intralaminar, e foi proposto que atuem como um sinal de
associabilidade promovendo o aprendizado56. Morris e Bergman sugeriram54 que
as pausas colinérgicas definem janelas temporais para a plasticidade estriatal,
durante as quais a dopamina pode ser usada como um sinal de aprendizado. A
plasticidade dependente de dopamina é continuamente suprimida por mecanismos,
incluindo receptores muscarínicos M4 em neurônios estriatais de via direta57.
Modelos de sinalização intracelular sugerem que durante pausas de NIC, a ausência
de ligação de M4 pode atuar sinergicamente com surtos fásicos de dopamina para
aumentar a ativação de PKA58, promovendo assim alteração sináptica.
790
© 2018 Nature America Inc., parte da Springer Nature. Todos os direitos reservados.
NaTure Neuroscience
As células colinérgicas estriatais estão, portanto, bem posicionadas para mudar
dinamicamente o significado de uma mensagem dopaminérgica multiplexada.
Durante as pausas da NIC, o alívio de um bloqueio muscarínico sobre a plasticidade
sináptica permitiria que a dopamina fosse usada para o aprendizado. Em outras
ocasiões, a liberação dos terminais de dopamina seria esculpida localmente para
afetar o desempenho comportamental contínuo. Atualmente, esta sugestão é
especulativa e incompleta. Foi proposto que os CINs integram informações de
muitos neurônios espinhosos circundantes para extrair sinais úteis em nível de rede,
como entropia59,60. Mas não está claro que a dinâmica da atividade CIN possa ser
usada para gerar sinais de valor de dopamina61 ou para controlar sinais de
aprendizagem de dopamina.
A dopamina significa a mesma coisa em todo o prosencéfalo?.
À medida que a ideia do RPE se consolidava, imaginava-se que a dopamina era um
sinal global, transmitindo uma mensagem de erro ao longo dos alvos corticais
estriatais e frontais. Schultz enfatizou que células de minas de dopa de macaco em
VTA e SNc têm respostas muito semelhantes62.
Estudos de células de dopamina identificadas também encontraram respostas
bastante homogêneas do tipo RPE em roedores, pelo menos para neurônios VTA
laterais em contextos clássicos de condicionamento13. No entanto, as células
dopaminérgicas são molecular e fisiologicamente diversas63-65, e agora há muitos
relatos de que elas mostram diversos padrões de disparo no comportamento de
animais. Isso inclui aumentos fásicos no disparo de eventos aversivos66 e pistas de
gatilho67, que se ajustam mal à conta padrão de RPE.
Muitas células de dopamina mostram uma resposta inicial de latência curta a
eventos sensoriais que refletem surpresa ou 'alerta' mais do que codificação
específica de RPE68,69. Esse aspecto de alerta é mais proeminente no SNc69, onde
as células dopaminérgicas se projetam mais para o estriado dorsolateral (EDL)
sensório-motor45,63. Também foi relatado que subpopulações de células de
dopamina SNc aumentam41 ou diminuem70 o disparo em conjunto com movimentos
espontâneos, mesmo sem estímulos externos.
Vários grupos usaram fotometria de fibra e o indicador de cálcio GCaMP para
examinar a atividade em massa de subpopulações de neurônios dopaminérgicos71,72.
Células de dopamina que se projetam para o estriado dorsomedial (DMS) mostraram
atividade deprimida transitoriamente para choques breves inesperados, enquanto
aquelas que se projetam para DLS mostraram atividade aumentada71 mais
consistente com uma resposta de alerta. Respostas dopaminérgicas distintas em
diferentes sub-regiões do prosencéfalo também foram observadas usando GCaMP
para examinar a atividade de axônios e terminais de dopamina40,72,73. Usando
imagens de dois fótons em camundongos com restrição de cabeça, Howe e
espontâneos. Isso foi observado predominantemente em axônios de dopamina
individuais de SNc que terminavam no estriado dorsal, enquanto axônios de dopamina
VTA em NAc responderam mais à entrega de recompensa. Outros também
encontraram atividade dopaminérgica relacionada à recompensa em NAc, com DMS,
em vez disso, mais ligada a ações contralaterais72 e a cauda posterior do estriado
responsiva a estímulos aversivos e novos74.
Medidas diretas da liberação de dopamina também revelam heterogeneidade
entre as sub-regiões30,75. Com a microdiálise, descobrimos que a dopa mina está
correlacionada com o valor especificamente no núcleo NAc e no córtex frontal
ventromedial e não em outras partes mediais do corpo estriado (revestimento NAc,
DMS) ou córtex frontal. Isso é intrigante, pois parece mapear bem dois 'hotspots' de
codificação de valor consistentemente vistos em estudos de ressonância magnética
funcional humana76,77. Em particular, o sinal dependente do nível de oxigênio no
sangue (BOLD) de NAc, que tem uma relação próxima com a sinalização de
dopamina78, aumenta com a antecipação de recompensa (valor) mais do que com
RPE76.
Quer esses padrões espaciais de liberação de dopamina surjam do disparo de
subpopulações distintas de células de dopamina, do controle local da liberação de
dopamina ou de ambos, eles desafiam a ideia de uma mensagem global de dopamina.
Pode-se concluir que existem muitas funções diferentes da dopamina, com (por
exemplo) dopamina no movimento de sinalização do estriado dorsal e dopamina na
recompensa de sinalização do estriado ventral40. No entanto, sou a favor de outra
abordagem conceitual.
Diferentes sub-regiões estriatais recebem informações de diferentes células corticais.
Natureza Neurociência | VOL 21 | JUNHO 2018 | 787–793 | www.nature.com/natureneuroscience
Machine Translated by Google
NaTure Neuroscience
regiões e assim estarão processando diferentes tipos de informação. No entanto,
cada sub-região estriatal compartilha uma arquitetura de microcircuito comum,
incluindo neurônios espinhosos portadores de receptores D1 versus D2
separados79, CINs e assim por diante. Embora seja comum referir-se a várias
sub-regiões estriatais (por exemplo, DLS, DMS, NAc core) como se fossem
áreas distintas, não há limites anatômicos nítidos entre elas (a camada NAc é
um pouco mais distinta neuroquimicamente). Em vez disso, há gradientes suaves
na densidade do receptor, proporções de interneurônios, etc., que parecem mais
ajustes nos parâmetros de um algoritmo computacional compartilhado. Dada
essa arquitetura comum, podemos descrever uma função de dopamina comum,
abstraída da informação específica sendo tratada por cada sub-região?
Dopamina estriatal e a alocação de recursos limitados. Proponho que uma
variedade de efeitos díspares da dopamina no comportamento contínuo pode
ser entendida como modulação das decisões de alocação de recursos.
Especificamente, a dopamina fornece estimativas de quanto vale a pena gastar
um recurso interno limitado, com o recurso particular diferindo entre as sub-
regiões estriatais. Para o estriado motor (aproximadamente DLS), o recurso é o
movimento, que é limitado porque movimentar custa energia e porque muitas
ações são incompatíveis entre si80. Aumentar a dopamina torna mais provável
que um animal decida que vale a pena gastar energia para se mover ou se mover
mais rápido6,40,81. Observe que um sinal de dopamina que codifica 'movimento
vale a pena' produzirá correlações entre dopamina e movimento, mesmo sem a
codificação de dopamina 'movimento' per se.
Para estriado cognitivo (aproximadamente DMS), os recursos são processos
cognitivos, incluindo atenção (que é de capacidade limitada por definição82) e
memória de trabalho83. Sem dopamina, sinais externos salientes que
normalmente provocam movimentos de orientação são negligenciados, como se
fossem considerados menos dignos de atenção3 . Além disso, organizar
deliberadamente os processos de controle cognitivo é trabalhoso (caro84). A
dopamina, principalmente no DMS85, tem papel fundamental na decisão se vale
a pena fazer esse esforço86,87. Isso pode incluir a possibilidade de empregar
trajetória geral através de uma sequência de estados (Fig. 1).
estratégias de decisão mais cognitivamente exigentes e deliberativas (baseadas em modelos)88.
Para estriado motivacional (aproximadamente NAc), um recurso limitado
chave pode ser o tempo do animal. A dopamina mesolímbica não é necessária
quando os animais realizam uma ação simples e fixa para obter recompensas
rapidamente89. Mas muitas formas de recompensa só podem ser obtidas por
meio de trabalho prolongado: sequências extensas de ações não recompensadas,
como no forrageamento. Escolher se engajar no trabalho significa que outras
formas benéficas de passar o tempo devem ser abandonadas. A alta dopamina
mesolímbica indica que vale a pena engajar-se em um trabalho prolongado e
com esforço, mas, à medida que a dopamina diminui, os animais não se
incomodam e podem, em vez disso, apenas se preparar para dormir90.
Dentro de cada circuito de alça corticoestriatal, a contribuição da dopamina
para o comportamento contínuo é, portanto, tanto econômica (relacionada à
alocação de recursos) quanto motivacional (se vale a pena gastar recursos)81.
Esses circuitos não são totalmente independentes, mas têm uma organização
hierárquica e espiralada: as porções mais ventrais do corpo estriado influenciam
as células dopaminérgicas que se projetam para as porções mais dorsais5,91.
Dessa forma, as decisões de se engajar no trabalho também podem ajudar a
revigorar os movimentos específicos e mais breves necessários. Mas, no geral,
a dopamina fornece sinais de ativação – aumentando a probabilidade de que
alguma decisão seja tomada – em vez de sinais direcionais especificando como
os recursos devem ser gastos5 .
Qual é o papel computacional da dopamina quando as decisões são
tomadas?. Uma maneira de pensar sobre esse papel de ativação é em termos
de limites de tomada de decisão. Em certos modelos matemáticos, os processos Recebido: 5 de outubro de 2017; Aceito: 30 de março de 2018;
de decisão aumentam até atingir um nível limite, quando o sistema se compromete Publicado online: 14 de maio de 2018
com uma ação92. Dopamina mais alta seria equivalente a uma distância até o
limiar mais baixa, de modo que as decisões são tomadas mais rapidamente.
Essa ideia é simplista, mas faz previsões quantitativas que foram confirmadas.
A redução dos limiares de movimento causaria uma mudança específica na forma
Natureza Neurociência | VOL 21 | JUNHO 2018 | 787–793 | www.nature.com/natureneuroscience
© 2018 Nature America Inc., parte da Springer Nature. Todos os direitos reservados.
Perspectiva
da distribuição do tempo de reação, que é exatamente o que se observa quando
a anfetamina é infundida no corpo estriado sensório-motor20.
Em vez de limites fixos, os dados comportamentais e neurais podem ser mais
adequados se os limites diminuírem com o tempo, como se as decisões se
tornassem cada vez mais urgentes. A saída dos gânglios da base foi proposta
para fornecer um sinal de urgência em evolução dinâmica que revigora os
mecanismos de seleção no córtex93. A urgência também é maior quando as
recompensas futuras estão mais próximas no tempo, tornando esse conceito
semelhante à codificação de valor, papel ativador da dopamina.
Esse papel de ativação é suficiente para descrever os efeitos moduladores
do desempenho da dopamina estriatal? Isso está relacionado à questão de longa
data sobre se os circuitos dos gânglios da base selecionam diretamente entre as
ações aprendidas80 ou apenas revigoram as escolhas feitas em outro lugar93,94.
Existem pelo menos duas maneiras pelas quais a dopamina pode parecer ter um
efeito mais "direcional". A primeira é quando a dopamina age dentro de uma
sub-região do cérebro que processa informações inerentemente direcionais. Os
circuitos dos gânglios da base têm um papel importante e parcialmente
lateralizado, orientando e abordando recompensas potenciais. O caudado primata
(aproximadamente DMS) está envolvido na condução dos movimentos oculares
em direção aos campos espaciais contralaterais95. Um sinal dopaminérgico
indicando que algo no espaço contralateral vale a pena orientar pode explicar a
correlação observada entre a atividade dopaminérgica no DMS e os movimentos
contralaterais72, bem como o comportamento rotacional produzido pelas
manipulações da dopamina96. Uma segunda influência direcional da dopamina
é aparente quando as lesões (bilaterais) de dopamina direcionam os ratos para
escolhas de baixo esforço e baixa recompensa, em vez de alternativas de alto
esforço e alta recompensa97.
Isso pode refletir o fato de que algumas decisões são mais seriais do que
paralelas, com ratos (e humanos) avaliando opções uma de cada vez98.
Nesses contextos de decisão, a dopamina ainda pode desempenhar um papel
fundamentalmente ativador ao transmitir o valor da opção atualmente considerada,
que pode ser aceita ou não24.
Animais ativos tomam decisões em vários níveis, muitas vezes em altas
taxas. Além de pensar em decisões individuais, pode ser útil considerar uma
Ao facilitar as transições de um estado para o outro, a dopamina pode acelerar o
fluxo ao longo das trajetórias aprendidas99. Isso pode estar relacionado à
importante influência da dopamina sobre o tempo do comportamento44,100 .
Um dos principais desafios para trabalhos futuros é obter uma compreensão
mais profunda de como esses efeitos da dopamina sobre o comportamento
contínuo surgem mecanicamente, alterando o processamento de informações
dentro de células individuais, microcircuitos e loops de gânglios corticais-basais em grande esc
Além disso, enfatizei os papéis computacionais comuns da dopamina em uma
variedade de alvos estriatais, mas negligenciei os alcatrões corticais, e resta
saber se as funções da dopamina em ambas as estruturas podem ser descritas
dentro da mesma estrutura.
Conclusão
Uma descrição adequada da dopamina explicaria como a dopamina pode
sinalizar tanto o aprendizado quanto a motivação nas mesmas escalas de tempo
rápidas sem confusão. Isso explicaria por que a liberação de dopamina em alvos-
chave co-varia com a expectativa de recompensa, embora o disparo de células
de dopamina não o faça. E forneceria uma conta computacional unificada das
ações da dopamina em todo o estriado e em outros lugares que explica os efeitos
comportamentais díspares no movimento, cognição e tempo. Algumas ideias
específicas apresentadas aqui são especulativas, mas destinam-se a revigorar
discussões renovadas, modelagem e novos experimentos incisivos.
Referências
1. Ungerstedt, U. Adipsia e afagia após 6-hidroxidopamina induzida
degeneração do sistema dopaminérgico nigro-estriatal. Acta Physiol. Escanear.
Supl. 367, 95-122 (1971).
791
Machine Translated by Google
Perspectiva
2. Sacks, O. Despertar. (Duckworth, Londres, 1973).
3. Marshall, JF, Levitan, D. & Stricker, EM Restauração induzida por ativação de funções sensório-
motoras em ratos com lesões cerebrais de depleção de dopamina.
J. Comp. Physiol. Psicol. 90, 536-546 (1976).
4. Berridge, KC, Venier, IL & Robinson, TE Análise da reatividade do sabor da afagia induzida por 6-
hidroxidopamina: implicações para as hipóteses de excitação e anedonia da função
da dopamina. Behav. Neurosci. 103, 36–45 (1989).
5. Salamone, JD & Correa, M. As misteriosas funções motivacionais da dopamina mesolímbica.
Neuron 76, 470-485 (2012).
6. Mazzoni, P., Hristova, A. & Krakauer, JW Por que não nos movemos mais rápido?
doença de Parkinson, vigor do movimento e motivação implícita. J. Neurosci. 27, 7105–7116
(2007).
7. Schultz, W. Respostas dos neurônios dopaminérgicos do mesencéfalo a estímulos de gatilho
comportamental no macaco. J. Neurophysiol. 56, 1439-1461 (1986).
8. Schultz, W. & Romo, R. Neurônios dopaminérgicos do mesencéfalo do macaco:
contingências de respostas a estímulos que provocam reações comportamentais
imediatas. J. Neurophysiol. 63, 607–624 (1990).
9. Montague, PR, Dayan, P. & Sejnowski, TJ Uma estrutura para
sistemas de dopamina mesencefálicos baseados na aprendizagem hebbiana preditiva.
J. Neurosci. 16, 1936–1947 (1996).
10. Schultz, W., Apicella, P. & Ljungberg, T. Respostas de neurônios de dopamina de macaco para
recompensar e condicionar estímulos durante etapas sucessivas de aprendizagem de
uma tarefa de resposta atrasada. J. Neurosci. 13, 900-913 (1993).
11. Sutton, RS & Barto, AG Aprendizagem por Reforço: uma Introdução. (MIT
Imprensa: Cambridge, Massachusetts, 1998).
12. Cohen, JY, Haesler, S., Vong, L., Lowell, BB & Uchida, N. Sinais específicos do tipo de neurônio
para recompensa e punição na área tegmental ventral.
Nature 482, 85–88 (2012).
13. Eshel, N., Tian, J., Bukwich, M. & Uchida, N. Os neurônios dopaminérgicos compartilham
função de resposta comum para erro de previsão de recompensa. Nat. Neurosci. 19, 479-486
(2016).
14. Steinberg, EE et al. Uma ligação causal entre erros de previsão, neurônios de dopamina e
aprendizado. Nat. Neurosci. 16, 966-973 (2013).
15. Hamid, AA et al. A dopamina mesolímbica sinaliza o valor do trabalho. Nat.
Neurosci. 19, 117–126 (2016).
16. Yagishita, S. et al. Uma janela de tempo crítica para as ações da dopamina na plasticidade
estrutural das espinhas dendríticas. Ciência 345, 1616–1620 (2014).
17. Berke, JD & Hyman, SE Addiction, dopamina e os mecanismos moleculares da memória.
Neuron 25, 515-532 (2000).
18. Beeler, JA Um papel para a aprendizagem mediada por dopamina na fisiopatologia e tratamento da
doença de Parkinson. Cell Rep. 2, 1747–1761 (2012).
19. Sábio, RA Dopamina, aprendizado e motivação. Nat. Rev. Neurosci. 5, 483-494 (2004).
20. Leventhal, DK et al. Efeitos dissociáveis da dopamina na aprendizagem e
desempenho dentro do corpo estriado sensório-motor. Basal Ganglia 4, 43–54 (2014).
21. Wyvell, CL & Berridge, KC A anfetamina intra-accumbens aumenta a saliência do incentivo
condicionado da recompensa da sacarose: aumento da
recompense “querer” sem aumentar “gostar” ou reforço de resposta.
J. Neurosci. 20, 8122-8130 (2000).
22. Cagniard, B. et al. A dopamina aumenta o desempenho na ausência de novos
aprendizado. Neuron 51, 541-547 (2006).
23. Shiner, T. et al. Dopamina e desempenho em uma tarefa de aprendizado por reforço: evidências
da doença de Parkinson. Cérebro 135, 1871-1883 (2012).
24. McClure, SM, Daw, ND & Montague, PR Um substrato computacional para saliência de incentivo.
Trends Neurosci. 26, 423–428 (2003).
25. Schultz, W. Múltiplas funções da dopamina em diferentes cursos de tempo. Annu.
Rev. Neurosci. 30, 259-288 (2007).
26. Gonon, F. et al. Geometria e cinética da transmissão dopaminérgica no corpo estriado de ratos e em
camundongos sem o transportador de dopamina. Prog. Cérebro Res. 125, 291–302 (2000).
27. Aragona, BJ et al. O aumento preferencial da transmissão de dopamina dentro do núcleo
accumbens pela cocaína é atribuível a um aumento direto nos eventos de liberação fásica de
dopamina. J. Neurosci. 28, 8821–8831 (2008).
28. Owesson-White, CA et al. Fontes que contribuem para a média
concentração extracelular de dopamina no núcleo accumbens. j.
Neurochem. 121, 252–262 (2012).
29. Yapo, C. et al. Detecção de dopamina fásica por neurônios espinhosos médios estriatais D1 e D2. J.
Physiol. (Londres.) 595, 7451–7475 (2017).
30. Freed, CR & Yamamoto, BK Metabolismo cerebral regional da dopamina: um marcador para a
velocidade, direção e postura de animais em movimento. Science 229, 62-65 (1985).
31. Niv, Y., Daw, ND, Joel, D. & Dayan, P. Dopamina tônica: custos de oportunidade e controle do vigor
da resposta. Psychopharmacology (Berl.) 191, 507–520 (2007).
32. Strecker, RE, Steinfels, GF & Jacobs, BL Atividade da unidade dopaminérgica em gatos que se
movem livremente: falta de relação com alimentação, saciedade e injeções de glicose.
Cérebro Res. 260, 317–321 (1983).
792
© 2018 Nature America Inc., parte da Springer Nature. Todos os direitos reservados.
NaTure Neuroscience
33. Cohen, JY, Amoroso, MW & Uchida, N. Os neurônios serotoninérgicos sinalizam recompensa
e punição em várias escalas de tempo. eLife 4, e06346 (2015).
34. Floresco, SB, West, AR, Ash, B., Moore, H. & Grace, AA A modulação aferente da fring de
neurônios dopaminérgicos regula diferencialmente a transmissão tônica e fásica da
dopamina. Nat. Neurosci. 6, 968–973 (2003).
35. Grace, AA Desregulação do sistema de dopamina na fisiopatologia da esquizofrenia e depressão.
Nat. Rev. Neurosci. 17, 524-532 (2016).
36. Phillips, PE, Stuber, GD, Heien, ML, Wightman, RM & Carelli, R.
M. A liberação de dopamina em subsegundos promove a busca por cocaína. Natureza 422,
614-618 (2003).
37. Wassum, KM, Ostlund, SB & Maidment, NT Fasico mesolímbico
a sinalização de dopamina precede e prediz o desempenho de uma tarefa de sequência de
ação auto-iniciada. Biol. Psychiatry 71, 846–854 (2012).
38. Howe, MW, Tierney, PL, Sandberg, SG, Phillips, PE & Graybiel, A.
M. Sinalização prolongada de dopamina no corpo estriado sinaliza proximidade e valor de
recompensas distantes. Nature 500, 575–579 (2013).
39. Satoh, T., Nakai, S., Sato, T. & Kimura, M. Codificação correlacionada de
motivação e resultado da decisão pelos neurônios dopaminérgicos. J. Neurosci. 23, 9913–9923
(2003).
40. Howe, MW & Dombeck, DA Sinalização rápida em axônios dopaminérgicos distintos durante a
locomoção e recompensa. Nature 535, 505–510 (2016). 41. da Silva, JA, Tecuapetla,
F., Paixão, V. & Costa, RM A atividade do neurônio dopaminérgico antes do início da ação bloqueia e
revigora os movimentos futuros.
Nature 554, 244–248 (2018). 42. du
Hofmann, J. & Nicola, SM A dopamina revigora a busca de recompensas ao promover a excitação
evocada por pistas no núcleo accumbens. J. Neurosci. 34, 14349–14364 (2014).
43. Hart, AS, Rutledge, RB, Glimcher, PW & Phillips, PE A liberação de dopamina fásica no
núcleo accumbens do rato codifica simetricamente um termo de erro de predição
de recompensa. J. Neurosci. 34, 698-704 (2014).
44. Soares, S., Atallah, BV & Paton, JJ Controle dos neurônios dopaminérgicos do mesencéfalo
julgamento do tempo. Ciência 354, 1273–1277 (2016).
45. Ikemoto, S. Circuitos de recompensa de dopamina: dois sistemas de projeção do mesencéfalo
ventral ao complexo do núcleo accumbens-tubérculo olfatório.
Cérebro Res. Rev. 56, 27–78 (2007).
46. Syed, EC et al. A iniciação da ação molda a codificação mesolímbica da dopamina de recompensas
futuras. Nat. Neurosci. 19, 34–36 (2016).
47. Floresco, SB, Yang, CR, Phillips, AG & Blaha, CD Basolateral
A estimulação da amígdala evoca o efluxo de dopamina dependente do receptor de glutamato no
núcleo accumbens do rato anestesiado. EUR. J. Neurosci. 10, 1241–1251 (1998).
48. Jones, JL et al. A amígdala basolateral modula a liberação terminal de dopamina no núcleo
accumbens e a resposta condicionada. Biol. Psiquiatria 67, 737–744 (2010).
49. Cachope, R. A ativação seletiva de interneurônios colinérgicos aumenta
liberação de dopamina fásica accumbal: definindo o tom para o processamento de recompensa.
Cell Rep. 2(1), 33–41 (2012).
50. Trelfell, S. et al. A liberação de dopamina estriatal é desencadeada por
atividade em interneurônios colinérgicos. Neuron 75, 58-64 (2012).
51. Grace, AA Liberação de dopamina fásica versus tônica e a modulação da responsividade do
sistema de dopamina: uma hipótese para a etiologia da esquizofrenia.
Neuroscience 41, 1–24 (1991).
52. Moyer, JT, Wolf, JA & Finkel, LH Efeitos da modulação dopaminérgica nas propriedades integrativas
do neurônio espinhoso médio estriado ventral. j.
Neurofisiológico. 98, 3731–3748 (2007).
53. Jÿdrzejewska-Szmek, J., Damodaran, S., Dorman, DB & Blackwell, KT
A dinâmica do cálcio prevê a direção da plasticidade sináptica nos neurônios de projeção
espinhosa do estriatal. EUR. J. Neurosci. 45, 1044–1056 (2017).
54. Morris, G., Arkadir, D., Nevet, A., Vaadia, E. & Bergman, H. Mensagens coincidentes, mas
distintas, da dopamina do mesencéfalo e dos neurônios tonicamente ativos do estriado.
Neuron 43, 133-143 (2004).
55. Brown, MT et al. Projeções GABA da área tegmental ventral pausam
interneurônios colinérgicos acumulativos para melhorar a aprendizagem associativa. Nature
492, 452–456 (2012).
56. Yamanaka, K. et al. Funções dos núcleos parafasciculares centromedianos de
tálamo e interneurônios colinérgicos no estriado dorsal na aprendizagem associativa de eventos
ambientais. J. Transm. Neural. (Viena) 125, 501–513 (2018).
57. Shen, W. et al. A sinalização do receptor muscarínico M4 melhora o estriatal
déficits de plasticidade em modelos de discinesia induzida por L-DOPA. Neuron 88, 762-773
(2015).
58. Nair, AG, Gutierrez-Arenas, O., Eriksson, O., Vincent, P. & Hellgren Kotaleski, J. Sensing
sinais de recompensa positivos versus negativos através de GPCRs acoplados a
adenilil ciclase em neurônios espinhosos médios estriatais de via direta e indireta. J.
Neurosci. 35, 14017–14030 (2015).
59. Stocco, A. Entropia baseada em acetilcolina na seleção de resposta: um modelo de como os
interneurônios estriatais modulam a exploração, exploração e variabilidade de resposta na
tomada de decisões. Frente. Neurosci. 6, 18 (2012).
Natureza Neurociência | VOL 21 | JUNHO 2018 | 787–793 | www.nature.com/natureneuroscience
Machine Translated by Google
NaTure Neuroscience
60. Franklin, NT & Frank, MJ Um circuito de feedback colinérgico para regular
incerteza da população estriatal e otimizar o aprendizado por reforço. eLife 4, e12029 (2015).
61. Nougaret, S. & Ravel, S. Modulação de neurônios tonicamente ativos do
macaco estriado por eventos que carregam diferentes informações de força e recompensa.
J. Neurosci. 35, 15214–15226 (2015).
62. Schultz, W. Sinal de recompensa preditivo de neurônios dopaminérgicos. J. Neurophysiol.
80, 1–27 (1998).
63. Lammel, S. et al. Propriedades únicas dos neurônios mesoprefrontais dentro de um sistema
duplo de dopamina mesocorticolímbica. Neuron 57, 760-773 (2008).
64. Poulin, JF et al. Definindo a diversidade de neurônios dopaminérgicos do mesencéfalo por
perfil de expressão gênica de célula única. Cell Rep. 9, 930–943 (2014).
65. Morales, M. & Margolis, EB Área tegmental ventral: heterogeneidade celular, conectividade e
comportamento. Nat. Rev. Neurosci. 18, 73–85 (2017).
66. Matsumoto, M. & Hikosaka, O. Dois tipos de neurônios dopaminérgicos transmitem distintamente
sinais motivacionais positivos e negativos. Nature 459, 837–841 (2009).
67. Pasquereau, B. & Turner, RS Os neurônios da dopamina codificam erros na previsão da
ocorrência do gatilho do movimento. J. Neurophysiol. 113, 1110–1123 (2015).
68. Redgrave, P., Prescott, TJ & Gurney, K. A resposta de dopamina de latência curta é muito curta
para sinalizar erro de recompensa? Trends Neurosci. 22, 146-151 (1999).
69. Bromberg-Martin, ES, Matsumoto, M. & Hikosaka, O. Dopamina no controle motivacional:
gratificante, aversivo e alerta. Neuron 68, 815-834 (2010).
70. Dodson, PD et al. Representação do movimento espontâneo por
Os neurônios dopaminérgicos são seletivos para o tipo de célula e interrompidos no parkinsonismo.
Proc. Nacional Acad. ciência EUA 113, E2180–E2188 (2016).
71. Lerner, TN et al. As análises do cérebro intacto revelam informações distintas transportadas pelos
subcircuitos de dopamina SNc. Cela 162, 635–647 (2015).
72. Parker, NF et al. Codificação de recompensa e escolha em terminais de
Os neurônios dopaminérgicos do mesencéfalo dependem do alvo estriatal. Nat. Neurosci. 19,
845-854 (2016).
73. Kim, CK et al. Medição rápida simultânea da dinâmica do circuito em vários locais do
cérebro de mamíferos. Nat. Métodos 13, 325–328 (2016).
74. Menegas, W., Babayan, BM, Uchida, N. & Watabe-Uchida, M. Inicialização oposta a novas pistas
na sinalização de dopamina no estriado ventral e posterior em camundongos. eLife 6, e21886
(2017).
75. Brown, HD, McCutcheon, JE, Cone, JJ, Ragozzino, ME & Roitman, MF Recompensa alimentar
primária e estímulos preditivos de recompensa evocam diferentes padrões de sinalização
fásica da dopamina em todo o corpo estriado. EUR. j.
Neurosci. 34, 1997–2006 (2011).
76. Knutson, B., & Greer, SM Afect antecipatório: correlatos neurais e consequências para
a escolha. Fil. Trans. R. Soc. Lond. B 363, 3771–3786 (2008).
77. Bartra, O., McGuire, JT & Kable, JW Te sistema de avaliação: uma meta-análise baseada em
coordenadas de experimentos BOLD fMRI examinando correlatos neurais de valor
subjetivo. Neuroimage 76, 412–427 (2013).
78. Ferenczi, EA et al. Regulação cortical pré-frontal da dinâmica do circuito cerebral e
comportamento relacionado à recompensa. Ciência 351, aac9698 (2016).
79. Bertran-Gonzalez, J. et al. Padrões opostos de ativação de sinalização em
neurônios estriatais que expressam os receptores de dopamina D1 e D2 em resposta à
cocaína e ao haloperidol. J. Neurosci. 28, 5671-5685 (2008).
80. Redgrave, P., Prescott, TJ & Gurney, K. Os gânglios da base: uma solução vertebrada para o
problema de seleção? Neuroscience 89, 1009-1023 (1999).
81. Beeler, JA, Frazier, CR, & Zhuang, X. Colocando o desejo em um orçamento:
dopamina e gasto energético, conciliando recompensa e recursos. Frente.
integr. Neurosci. 6, 49 (2012).
82. Anderson, BA et al. O papel da dopamina na atenção baseada em valor
orientando. atual Biol. 26, 550–555 (2016).
Natureza Neurociência | VOL 21 | JUNHO 2018 | 787–793 | www.nature.com/natureneuroscience
© 2018 Nature America Inc., parte da Springer Nature. Todos os direitos reservados.
Perspectiva
83. Chatham, CH, Frank, MJ & Badre, D. Gating de saída corticostriatal durante a seleção da
memória de trabalho. Neuron 81, 930-942 (2014).
84. Shenhav, A., Botvinick, MM & Cohen, JD Te valor esperado de controle: uma teoria integrativa da
função do córtex cingulado anterior. Neuron 79, 217-240 (2013).
85. Aarts, E. et al. A dopamina estriatal medeia a interface entre
controle motivacional e cognitivo em humanos: evidências de imagens genéticas.
Neuropsicofarmacologia 35, 1943-1951 (2010).
86. Westbrook, A. & Braver, TS A dopamina tem dupla função em motivar o esforço cognitivo. Neuron
89, 695-710 (2016).
87. Manohar, SG et al. A recompensa paga o custo da redução de ruído no motor e
controle cognitivo. atual Biol. 25, 1707–1716 (2015).
88. Wunderlich, K., Smittenaar, P. & Dolan, RJ A dopamina aumenta
Comportamento baseado em modelo sobre escolha livre de modelo. Neuron 75, 418-424 (2012).
89. Nicola, SM Hipótese da abordagem flexível: unificação de esforços e
hipóteses de resposta a estímulos para o papel da dopamina do núcleo accumbens na ativação
do comportamento de busca de recompensa. J. Neurosci. 30, 16585–16600 (2010).
90. Eban-Rothschild, A., Rothschild, G., Giardino, WJ, Jones, JR & de Lecea, L. VTA neurônios
dopaminérgicos regulam comportamentos sono-vigília etologicamente relevantes. Nat.
Neurosci. 19, 1356–1366 (2016).
91. Haber, SN, Fudge, JL & McFarland, NR As vias estriatonigroestriatais em primatas formam uma
espiral ascendente desde a concha até o corpo estriado dorsolateral. J. Neurosci. 20, 2369–
2382 (2000).
92. Reddi, BAJ & Carpenter, RHS A influência da urgência na decisão
tempo. Nat. Neurosci. 3, 827–830 (2000).
93. Tura, D. & Cisek, P. Os gânglios da base não selecionam alvos de alcance, mas controlam a
urgência do compromisso. Neuron 95, 1160–1170.e5 (2017).
94. Turner, RS & Desmurget, M. Contribuições dos gânglios da base para o controle motor: um
tutor vigoroso. atual Opin. Neurobiol. 20, 704-716 (2010).
95. Hikosaka, O., Nakamura, K. & Nakahara, H. Os gânglios da base orientam os olhos para a
recompensa. J. Neurophysiol. 95, 567-584 (2006).
96. Kelly, PH & Moore, KE Mesolímbico neurônios dopaminérgicos no modelo rotacional da
função nigroestriatal. Nature 263, 695-696 (1976).
97. Cousins, MS, Atherton, A., Turner, L. & Salamone, JD Nucleus
a depleção de dopamina accumbens altera a alocação de resposta relativa em uma tarefa
de custo/benefício de labirinto em T. Behav. Cérebro Res. 74, 189–197 (1996).
98. Redish, AD Vicarious tentativa e erro. Nat. Rev. Neurosci. 17, 147–159
(2016).
99. Rabinovich, MI, Huerta, R., Varona, P. & Afraimovich, VS Transient
dinâmica cognitiva, metaestabilidade e tomada de decisão. Computação PLOS. Biol. 4, e1000072
(2008).
100. Merchant, H., Harrington, DL & Meck, WH Base neural do
percepção e estimativa do tempo. Annu. Rev. Neurosci. 36, 313–336 (2013).
Agradecimentos Agradeço
aos muitos colegas que forneceram comentários perspicazes sobre rascunhos de textos
anteriores, incluindo K. Berridge, P. Dayan, B. Knutson, J. Beeler, P. Redgrave, J.
Lisman e J. Goldberg. Lamento que as limitações de espaço tenham impedido a
discussão de muitos estudos anteriores importantes. Apoio essencial foi fornecido pelo
Instituto Nacional de Distúrbios Neurológicos e Derrame, Instituto Nacional de Saúde Mental
e Instituto Nacional de Abuso de Drogas.
Interesses conflitantes O autor
declara não haver interesses conflitantes.
Informações adicionais Informações
sobre reimpressões e permissões estão disponíveis em www.nature.com/reprints.
A correspondência deve ser endereçada a JDB
Nota do editor: A Springer Nature permanece neutra em relação a reivindicações jurisdicionais em
mapas publicados e afiliações institucionais.
793