ssn22021 10:47 ‘A doparina modula a vigor rlacionado & recompensa Experimente o PMC Labs e diga-nos 0 que vocé pensa. Aprenda mais . Neuropsychopharmacology Nouropsicofarmacologia. Julho de 2013; 38 (8): 1495-1503. PMcID: PMc3682144 Publicado online em 20 de margo de 2013. Pré- publicado online em 18 de fevereiro. -- EMSID: EMS5*773 de 2013. doi: 10.1038 /npp 2013.48 PMID: 23419875 A dopamina modula o vigor relacionado & recompensa Ultik Beierholm , *." Marc Guitart-Masip , ? § Marcos Economides , ? Rumana Chowdhury, Emrah Diizel » Bay Dolan , ? ¢ Peter Dayan * ‘Contre for Computational Neuroscience and Cognitive Robotics, University of Birmingham, Edgbaston, UK 2wellcome Trust Centre for Neuroimaging, University College London, London, UK “Insitute of Cognitive Neuroscience, University College London, London, UK “Gatsby Computational Neuroscience Unit, University College London, London, UK * DrU Beietholm ,, Professor de Neurociéncia Computacional, Escola de Psicologia, University of Birmingham, Edgbaston, Birmingham B15 2TT, UK, Tel: +44 121 414 5534, Fax: +44 121 414 4897, E-mail ubelerholm @ bham, ac.uk 5 Esses autores contibuiram igualmente para este trabalho. Recebido em 6 de novembro de 2012; Revisado em 2 de fevereiro de 2013; Accito om 4 de fevereiro de 2013. Copyright © 2013 American College of Neuropsychopharmacology Resumo 3s individuos controlam rotineiramente 0 vigor com que emitem respostas motoras. No entanto, a ‘maior parte dos tratamentos formais de tomada de decisio ignora essa dimensio da escolha. Um estudo tedrico recente sugeriu que o vigor da agdo deve ser influenciado pela taxa média de recompensa experimentada e que ida pela dopamina tonica no cérebro. Anteriormente, examinamos como a taxa média de recompensa modula o vigor, exemplifi resposta, ¢ encontramos uma medida de concordéncia com a primeira sugestio. No presente estudo, examinamos a segunda sugestio, a saber, a influéncia potencial da sinalizagdo da dopamina no vigor, Noventa individuos saudaveis participaram de um experimento duplo-cego no qual receberam um dos seguintes: placebo, L-DOPA (que aumenta os niveis de dopamina no cérebro) ou citalopram (que tem um efeito seletivo, se complexo, efeito nos niveis de serotonina). Os individuos realizaram varias tentativas de uma tarefa de discriminago de bolas impares recompensada, na qual variamos a recompensa potencial 20 longo do tempo, a fim de exereer a suposta ligagio entre o vigor ea taxa média de recompensa, Replicando nossas descobertas anteriores, descobrimos que uma frago significativa da varidncia nas respostas dos individuos pode ser explicada por nossas mudangas experimentalmente manipuladas na taxa média de recompensa. Crucialmente, esta relagio foi significativamente mais forte sob L-Dopa do que sob Placebo, sugerindo que o impacto dos niveis médios de recompensa no vigor da ago estd realmente sujeito a uma influéncia dopaminérgica. Replicando nossas descobertas anteriores, descobrimos que uma fragdo significativa da varidneia nas respostas dos individuos pode ser explicada por nossas mudangas experimentalmente manipuladas na sa taxa € codifi ido pelos tempos de taxa média de recompensa. Crucialmente, esta re que sob Placebo, sugerindo que o impacto dos niveis médios de recompensa no vigor da ago esta o foi significativamente mais forte sob L-Dopa do hitps:iwwuzncb.rim.nih.govlpmelarticles/PMC3682144I anossit212021 10:47 ‘A dopamina modula vigor relacionado & recompensa realmente sujeito a uma influéncia dopaminérgica. Replicando nossas descobertas anteriores, descobrimos que uma fragdo significativa da varidncia nas respostas dos individuos pode ser explicada por ntossas mudangas experimentalmente manipuladas na taxa média de recompensa. Crucialmente, esta relagdo foi significativamente mais forte sob L-Dopa do que sob Placebo, sugerindo que o impacto dos niveis médios de recompensa no vigor da agdo esté realmente sujeito a uma influéneia dopaminérgica, Palavras-chave: dopamina, psicofarmacologia, cognigdo, vigor, aprendizagem por recompensa, aprendizagem por reforgo INTRODUGAO Sempre que os sujeitos realizam agdes, eles se deparam com duas classes fundamentais de escotha, Um diz respeito a qual das varias agdes disponiveis executar. A literatura empirica em psicologia e neurociéneia neste tépico tem sido objeto de tratamentos teéricos poderosos ¢ iluminadores, baseados em prineipios teéricos de decisio normativos. A outra classe de escotha diz respeito a quando, ou com que vigor, uma agdo deve ser executada, Na verdade, isso tem um significado mais amplo porque em muitos paradigmas de aprendizagem animal, como as tarefas operantes livres, o vigor é a \inica varidvel dependente. Muito se sabe sobre como os sujeitos se comportam em tais tarefas, mas tem havido pouco trabalho teérico examinando e explicando esses dados. ‘Uma linha de investigagio tedrica considerou aspectos instrumentais do vigor em tarefas operantes livres ( Ni 1007 ), Esse relato comega com duas premissas principais: a primeira é que os sujeitos procuram maximizar a taxa média de utilidade liquida por unidade de tempo; a segunda é que a utilidade & diminuida de acordo com o custo de realizago de uma ago ¢ que realizar uma ago mais rapidamente (ou seja, de forma mais vigorosa) é mais custosa, Dada uma forma funcional hiperbélica para esse custo crescente, o vigor acaba sendo determinado pelo custo de oportunidade de ser preguigoso, onde esse custo de oportunidade é apenas a taxa média de utilidade Iiquida, Em um estudo recente ( Guitar petal.,2011 ), testamos essa previsio de maneira qualitativa, ‘modulando as recompensas monetarias que os sujeitos poderiam receber por dar respostas adequadas, Mostramos que os sujeitos de fato modularam seus tempos de resposta com base na taxa média de recompensa local, ou seja, a quantidade média de recompensa que re tarefa, Por outro lado, descobrimos que o tamanho da recompensa disponivel instantaneamente para a escolha imediata teve menos efeito, com ofertas maiores sendo, se alguma coisa, antagénicas ao desempenho répido, Embora esta descoberta seja surpreendente, dada a escala mais grosseira, os efeitos Pavlovianos sobre o vigor examinados em paradigmas como a tarefa de atraso de incentivo ‘monetirio ( Knutson et al. 2000 ), esté de acordo com 0 modelo atval que inspirou o experimento ( Niv etal 2007), yeram nos iiltimos minutos na Com base em varias fontes de evidéncia ( Eve: 11991 ; Salamone ¢ Correa, 2002 ), também foi previsto que o custo de oportunidade do tempo, ou a taxa média de utilidade apetitiva liquida , seria transmitido pelos niveis tnicos do neuromodulador opamina ( Niv et al_, 2007 ). Essa ideia ¢ apoiada por uma vasta literatura que mostra que as manipulagdes de dopamina tém efeitos especificos sobre 0 vigor do comportamento motivado ( Sokolowski et al, 1998 ), Por exemplo, a deplegao de dopamina no niicleo accumbens de rato leva a ‘menos respostas em um esquema de recompensa que requer um grande némero de presses de alavanca, mas néo para um pequeno nimero de presses de alavanea ( Abetman e Salamone, 1999), Na verdade, os iltimos dados experimentais foram uma influéneia fundamental no modelo computacional de Niv et al (2007 ). Outros experimentos mostraram que a deplego de dopamina reverte a preferéncia dos animais de uma opgo de alto custo / alta recompensa para uma op de baixo custo / baixa recompensa em varios ambientes experimentais ((por exemplo, Salamone et al, 1991 :mone, 1994); para uma revisio recente sobre essas ques okolow: 2012). hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I anossrt212021 10:47 ‘A dopamina modula vigor relacionado & recompensa Uma possibilidade mais especulativa & que os niveis tnicos de outro neuromodulador, a saber, a serotonina, possam estar envolvidos no relato da taxa média de utilidade aversiva liquida e, por simetria, estar envolvidos na preguiga comportamental. A razo para isso so as (ainda um tanto controversas) nogdes de oponéncia entre a dopamina e a serotonina ( Boureau e Dayan, 2011 ; Cools et al. 2011 ; Daw et al, 2002 ; Deakin ¢ Graeff, 1991 ) ¢, de fato, 0 conhecido envolvimento da serotonina no comportamento comportamental inibigdo ( Boureau e Dayan, 2011 ; Cools et al, 2011 ; Crockett ef al_.2009 ;Huys e Dayan, 2009 ; Soubrig, 1986 ), Isso leva a uma possibilidade de que o aumento dos niveis de serotonina possa ter efeitos opostos sobre o vigor ao observado ao aumentar os niveis de dopamina, Aqui, pretendemos testar 0 efeito sobre o vigor da manipulagio da dopamina e da serotonina em seres humanos saudi Para este fim, os participantes foram designados para receber placebo, levodopa (150 mg) ou citalopram (24 mg em gotas orais, equivalente a 30 mg em comprimidos) e realizar a tarefa exata descrita em nosso artigo anterior ( Guitart-Masip et al, 2011 ) Presume-se que os agentes farmacolégicos aumentem os niveis pés-sinépticos de dopamina e serotonina, respectivamente. Previmos que um aumento na dopamina apés a administragao de levodopa levaria a uma modulagao ‘mais forte dos tempos de resposta devido a influéncia da taxa média de recompensa, Uma possibilidade adicional seria que um aumento da serotonina apés o citalopram enfraquecesse essa modulagao. MATERIAIS E METODOS assuntos Noventa voluntirios saudéveis foram recrutados para a nossa experiéneia farmacologica ( sujeitos _farmacolégicos ) usando 0 conjunto de sujcitos associado ao Departamento de Psicologia da University College London, Outros 25 voluntérios saudéveis foram recrutados para um experimento de controle ( sujeitos cansados ). Eles receberam instrugdes completas por escrito ¢ forneceram consentimento por escrito de acordo com as disposigdes do Comité de Fitica em Pesquisa da University College London. Assuntos ‘farmacolégicos’ Os participantes foram designados aleatoriamente a um dos trés grupos de tratamento: 30 participantes receberam levodopa (13 mulheres; faixa etéria 17 anos; média de 24,07 anos, DP = 4,08 anos), 30 participantes receberam citalopram (17 mulheres; faixa 23,6 anos, DP = 4,2 anos), ¢ 30 participantes receberam placebo (13 mulheres; faixa média 24,23 anos, DP = 3,18 anos). 0 estudo foi duplo-cego. Todos os participantes eram destros ¢ tinham acuidade visual normal ou corrigida para normal. Nenhum dos participantes relatou histérico de problemas neurolégicos, psiquiétricos ou quaisquer outros problemas médicos atuais, aria 15 anos; média aria 11 anos; Assuntos ‘cansados' A farmacodindmica da levodopa e do citalopram implica que um periodo de espera é necessério antes que eles exergam efeitos potentes sobre a dopamina e a serotonin. Além disso, antes de de vigor, os individuos participaram de uma tarefa nfo relacionada que também rendeu recompensa monetiria. Esses fatores podem causar fadiga ¢ um menor interesse na tarefa para os sujeitos participantes do experimento atual e, assim, atenuar a ligagdo com os resultados, de nosso estudo anterior ( Guitart-Masip ef al_,2011) Consequentemente, para resolver isso, examinamos o papel potencial da exaustdo ¢ redugdo do interesse recrutando mais 25 individuos (14 mulheres; faixa etdria 15 anos; média de 24,2 anos, DP = 4,3 anos) como acima, que realizaram uma tarefa ndo relacionada (recompensa baseada na tomada de decisio) por uma média de 150 minutos antes de realizar a tarefa de vigor. Pretendiamos que seu desempenho imitasse 0 comportamento dos individuos em nossa amostra farmacolégica, mas na auséneia de qualquer manipulagdo farmacolégica. alizar a tare Procedimento Experimental para o Estudo de Drogas Os participantes completaram a tarefa de vigor (ver abaixo) 100 minutos apés receber levodopa (150 mg + 37,5 mg benserazida) ou 220 minutos apés receber citalopram (24 mg em gotas, 0 que é cequivalente a 30 mg em comprimido). Para garantir que os participantes e pesquisadores estivessem cegos quanto 4 condigdo, no dia do experimento cada participante foi alocado a um grupo de tratamento ¢ recebeu um copo contendo citalopram ou placebo. Duas horas depois, eles receberam hitps yew nebi.nim.nih govlpmeartles/PMC3682144) anessit212021 10:47 ‘A dopamina modula vigor relacionado & recompensa outro copo contendo placebo ou levodopa e esperaram por mais uma hora antes de se engajarem por 40 min em uma tarefa de aprendizagem go / no-go ( Guitart-Masip et al_, 2012b) relatado em outro lugar. Na tarefa em movimento ou nao, os participantes ganharam um minimo de £ 10 ¢ um maximo de £35, ‘com base em seu desempenho, Portanto, pata todos os grupos de tratamentos, os patticipantes participaram da tarefa de vigor 220 min aps chegar a0 laboratério e aps receberem um incentivo ‘monetirio substancial. Os patticipantes responderam a um questionério de escalas analégicas de estado subjetivo em trés ocasides. Nao detectamos nenhuma diferenca nas avaliagdes subjetivas entre os grupos de tratamento (consulte © Mai ine para obter detalhes). Paradigma Comportamental (Tarefa de Vigor) paradigma comportamental foi apresentado usando um monitor ¢ teclado de PC normais, exatamente como descrito em Guitart-Masip ef al (2011) . O layout de um julgamento é descrito emEigura 1a. Em cada teste, 0 sujeito poderia receber um pagamento potencial na faixa de 1-100 pence, conforme apresentado visualmente na tela no inicio do teste. Os pagamentos potenciais, R ,, foram variados entre 60s ensaios de acordo com uma fungao pré-especificada do nimero do ensaio. Esta fungdo foi fixada centre os assuntos e projetada para variar ao longo do tempo de forma a minimizar a correlagdo entre a recompensa disponivel, a taxa média de recompensa e o componente linear (Veja abaixo). A fungdo de pagamento potencial usada é mostrada emEigura 1b. Apés um periodo varidvel (750-1250 ms, mais, tarde referido como o intervalo entre as tentativas ), os sujeitos viram trés figuras visuais e tiveram que indicar o 'impar de fora' pressionando um bot, Se sujeito respondeu em 500 ms pressionando 0 botiio correspondente ao estimulo desviante, a tentativa foi considerada bem-sucedida, Para manter os participantes engajados ao longo da tarefa, induzimos erros inesperados, reduzindo a restrigdo de tempo para 400 ms em 20% das tentativas. Os individuos foram informados sobre seu sucesso no ensaio apés uma tela em branco por S00 ms. O feedback foi seguido por outra tela em branco ¢ 0 infeio do préximo teste figura 1 (a) Estrutura de uma tentativa da tarefa comportamental. Os individuas recebem sua recompensa potencial seguida por uma tarefa impar a ser coneluida em 500 ms (400 ms para 20% das temtativas). Depois de mais 500 ms, cles viram a recompensa recebida, (b) A Mutuagio induzida na recompensa disponivel (azul) © recompensa média (para a taxa de aprendizagem @ = 0,012 em vermelho, o valor fixo usado em Masip etal2011 , e = 0,113 em verde, 0 valor médio entre os assuntos encontrados na anise atual) variando ao longo do tempo. A reprodugdo colorida desta figura esté disponivel na revista Neuropsychopharmacology online. hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I angssit212021 10:47 ‘A dopamina modula vigor relacionado & recompensa Os participantes realizaram 458-472 tentativas dentro do limite de tempo de 27 minutos alocado, Para o pagamento aos sujeitos, 10% dos ensaios foram escolhidos aleatoriamente, ¢ os sujeitos receberam @ soma do valor do subconjunto bem-sucedido desses ensaios, mais uma taxa fixa de £ 5 que foi adicionada a quantidade de dinheiro que eles tinham obtido na tarefa anterior, nao relacionada (ver procedimento experimental). De maneira critica, essa estrutura de incentivos implica que quanto mais rapido eles derem as respostas corretas, mais dinheiro eles poderiam potencialmente ganhar. tabela Lmostra o dinheiro médio (e DP) ganho por cada grupo na tarefa de vigor. Quatro sujeitos entre 6s participantes de farmacologia’ ¢ um dos participantes 'cansados' administraram menos de 200 censaios corretos dentro dos limites de tempo experimentais disponiveis e foram, portanto, descartados de analises posteriores. tabela 1 Comparasio de respostas comportamentais em todos os cinco conjuntos de dados, média e DPs entre parénteses Original —Cansado Placebo ‘L-Dopa Citalopram N° de ensaiosrealizados 459,9.8,0) 465.9G,1) 466324) 465,6(2,2) 466,224) * de tentativas corretas 339,5 (49,2) 351,0(58,6) 355,9 (46,0) 345,1 (47,1) 347.6 (44,8) N* de tentatvas tarde demais, 868 (40.2) 86,8(45,1) 78,8(37,0) 86,7 (40,2) 82,3 39,9) IN" de tentativas erradas 32,9250) 28,1204) 31,6(19,7) 33,8204) 36,4 (18,5) Dinheiro feito £77 £721 £744 — £682(1,63) £7,09(1,78) 439) asa) (129) RT individual médio, odas as 415,0 24,5) 408,7(29,7) 403,922,9) 410,0(23,5) 4049 23,4) tentativas (ens) RT individual médio, tenativas 402,118,8) 395.3 21,5) 393,1.17.2) 398,2(16) 392.3 (15,9) corres (ms) Significaindiv. RT, tentativas muito 468.2 (25,4) 471,6 (29,8) 46,9 (20,8) 468,0(24,5) 473,0(22,1) (ms) RT individual médio,tentativas 35,6 (47,5) 360,1 (43,6) 349,9(30,2) 368,8(24,7) 351,7 29,8) erradas (ms) Alfa, taxa de aprendizagem porteste 01133 0,190 O,1458 0,143 —0,0870 0.1176 ,0810) 1505) 0,1453)__(0,0942) Andlise de dados Ajustamos uma distribuigdo normal de log para os tempos de reago (RTs) de cada individuo e removemos todos os pontos de dados> 3 SDs da média individual. Em seguida, recalculamos a média ¢ os DPs e repetimos esse procedimento, Os ensaios perdidos (ensaios sem qualquer resposta comportamental) no foram incluidos na anilise. Para permitir que os indi tarefa, anatisamos apenas os ensaios 21-460. Os participantes que conseguiram menos de 200 tentativas completas (pressionamento correto do botdo dentro do limite de tempo) foram posteriormente omitidos da andlise posterior. {duos se acostumem com @ Dados os dados log-normalizados, assumimos um modelo linear para a contribuigdo de diferentes fatores nos tempos de resposta com pontuagao z para cada sujeito i hitps:iwwnzncb.rim.nih.gowlpmelarticles/PMC3682144I sngson22021 10:47 ‘A doparina modula a vigor rlacionado & recompensa log RT; =Xpx Bj +2; com um tempo de resposta por elemento de cada vetor, onde ¢ ; é uma variavel de ruido gaussiano, e as — colunas na X ‘matriz foram dadas pelas seguintes variéveis que foram escolhidas & luz dos resultados de nosso estudo anterior ( Guitart-Masip et al..2011 ) R , : recompensa disponivel para os sujeitos ganharem em uma determinada tentative t sinal de recompensa médio, dado por F=h-1t+ a(t -1—-h-1); onde r --1 & a recompensa alcangada na tentativa anterior. Esta regra de atualizagao ¢ equivalente regra de Rescorla-Wagner, que é usada rotineiramente em abordagens de aprendizagem para aprendizagem por reforgo de recompensa média. A atualizagao ou taxa de aprendizagem para a recompensa média a ; foi um pardmetro livre de um modelo de efeitos aleatdrios ajustado as respostas de cada sujeito de acordo com o algoritmo descrito abaixo. A taxa de atualizagao pode variar entre 0 (equivalente a nenhum aprendizado) e 1 (equivalente a apenas usar a recompensa na tentativa anterior), Repetigio de estimulo : vetor bindrio que indica se 0 estimulo na iltima tentativa foi © mesmo que nesta tentativa Linear ; fungo linear Tarde demais : retorno binario indicando se a resposta foi tarde demais na tentativa anterior, Intervalo entre tentativas : intervalo pré -teste enquanto espera a apresentagao do estimulo, ‘Nossas principais variiveis de interesse foram a recompensa disponivel, R , 0 sinal de recompensa © modelo ¢ semelhante a um modelo line: médio de regressio linear, além do efeito das taxas de aprendizagem individualizadas a ; . Nés o tratamos como um modelo de ‘tos aleatérios com um nivel superior, Gaussiano, N anterior (11 anterior + anterior ) Para os parimettos f je as taxas de aprendizagem a ; (com o tiltimo sendo transformado por meio de um sigméide para restringir sew intervalo ao intervalo (0,1) para que possam ser tratados uniformemente). Ajustamos os valores de 1 antes € © antestsando um método Bayesian Expectation-Maximization, usando regressdo linear regular como 0 loop interno para maximizar a probabilidade em relagdo a f ; . Fizemos uma aproximagao de Laplace sobre este maximo para perceber uma probabilidade de distribuigdo aproximadamente normal = N Lik Lik as nin somata proprio a ike? “tire f hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I angssn21z021 1047 ‘A doparina modula vigor rlacionado & recompensa = i i —_ NCUpost> post). facilmente analiticamente como Host = Zpea (Ete) ‘Hite + (Zprine) ‘Hprier) ANG Lie = (Bite) * + (Zpriar) ")* [Na etapa M, os parimetros para o anterior foram otimizados como MprioeNews Z» riorNew] m = argmex Sf Nhu Ba TOBNG Zo)dx Ho, 1 =“ a + st tye i) = argmax) | few | i el “Hots Ehou)” Ge Hha)) Ho Xo 1 = 1 — 5 (mo) a (ena) ~ 5 logo J ax onde a dimensionalidade k= 7 e m & 0 mimero de sujeitos. Existe uma solugdo analitica para esta maximizagdo com 1 . HpriorNew = m > Hpost i bE : : Eprovon = = Y> ((Hjou)”—(Hponien)”) + Epos i ‘As elapas E e M foram repetidas até que as mudancas nas variaveis estimadas entre as duas etapas E. fossem <0,001, significando convergéncia, Observe que nossa abordagem nao era totalmente bayesiana, pois nao assumimos uma ‘hiperprioridade’ sobre os parimetros da anterior. Tendo estimado os valores f ;, perguntamos se algum deles explicava uma quantidade significativa de variabilidade dos dados. Reanilise de dados originais Em nosso estudo anterior ( Guitart-M 11}, usamos © mesmo método experimental, mas sem tratamento farmacologico ¢ também sem espera ou tarefa intermedidria (a tarefa ir / ndo ir mencionada acima), Também usamos um método de anilise mais simples. A fim de comparar nossos hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I 7mssn21z021 1047 ‘A doparina modula a vigor rlacionado & recompensa cia anterior usando os resultados atuais com os anteriores, reanalisamos os resultados daquela experi métodos estatisticos descritos acima, Dos 39 sujeitos, excluimos I sujeito devido a falha do software de gravagao. RESULTADOS Testamos os efeitos da manipulagdo da dopamina (usando levodopa) no vigor exibido por seres numanos usando uma tarefa desenvolvida para testar como a recompensa modula os RTs, Esta tarefa foi a mesma que em nosso estudo publicado anterior ( Guitart-Masip et al. 20L1 ), exigindo respostas rapidas em uma tarefa ‘impar’, onde os individuos foram recompensados por serem precisos ¢ adequadamente rapidos (ver Métodos) Masi Para integridade, relatamos resultados e comparagdes entre os trés conjuntos diferentes de dados. 0 conjunto D orig Vem da reaniilise de dados de ( Guitart-Masip er af, 2011 ) usando um método estatistico mais sofisticado (um modelo de efeitos aleatérios) que adotamos para nossos novos dados, em vista de uma necessidade antecipada de fazer comparagdes entre diferentes grupos de assuntos. © conjunto de dados D jnarm foi 0 principal foco experimental no presente artigo. Os individuos receberam placebo, levodopa ou citalopram e, apés um periodo de tempo fixo (que incluiu a participagdo em uma tarefa de recompensa nio relacionada), realizaram a tarefa de vigor. D pharm compreende dados dos trés grupos D pige + D idopa € D cit Finalmente, coletamos um conjunto de dados adicional D cansado Para avaliar 0 efeito da diferenga experimental fundamental entre o paradigma subjacente a D orig € D pharm » OU stja, a necessidade de 0s participantes permanecerem em nossas instalagdes por 220 min ¢ se envolverem em uma tarefa de aprendizagem antes de realizar a tatefa de vigor. Esse petiodo de espera pode ter causado fadiga ¢ diminuigdo da motivagao dos participantes. Para avaliar 0 efeito do periodo de espera, se houver, testamos 25 individuos usando um design semelhante: na verdade, esses individuos participaram da tarefa de vigor 150 minutos apés a chegada para o estudo e depois de se envolver em uma tarefa de tomada de decisdio baseada em recompensa nao relacionada com um retomno que varia entre £ 5 e £20, abela Imostra para cada conjunto de dados as médias (e SDs) do mimero de tentativas realizadas, 0 iimero de respostas corretas dentro do limite de tempo da tentativa, o mimero de tentativas com respostas muito atrasadas e o niimero de pressionamentos de botdo incorretos. Nao houve diferenga significativa entre os grupos em qualquer uma dessas medidas (teste dos postos sinalizados de Wilcoxon, p > 0,05).tabela_Itambém inclui a quantidade de dinheiro ganho ¢ os tempos médios de resposta para cada experimento, que também nao diferiram significativamente entre os grupos (ANOVA unilateral, F (147) = 0,62, p > 0,05 e F (147) = 1,08, p > 0,05, respectivamente), Para examinar os fatores que influenciam os RTS dos sujeitos, usamos uma variante de maximizagao da expectativa de regressio linear (ver Métodos). Os regressores de interesse foram a recompensa disponivel e o histérico de recompensa média (sinal de vigor) e varias variaveis de incémodo (ver Métodos). A diferenga formal mais significativa em relagdo & nossa andlise anterior foi que, aqui, ajustamos a taxa de aprendizagem a usada para caleular a recompensa média sujeito a sujeito como parte do modelo de cfeitos aleatérios, em vez de usar um tinico valor para a entre assuntos estimados com base em um ajuste de probabilidade maxima para dados piloto ( Guitart-Masip et al, 2011 ). As taxas de aprendizagem foram ajustadas individualmente para descartar a possibilidade de que quaisquer efeitos os tratamentos farmacolégicos sobre o vigor fossem causados por diferengas nio detectadas nas taxas de aprendizagem. Nossos resultados, no entanto, io mostraram nenhuma diferenga na taxa de aprendizado entre os conjuntos de dados (ANOVA F (147) ~ 1,38, p > 0,05) nem entre os trés grupos farmacolégicos (F (85) = 2,09,p > 0,08). Experiéncia ‘Original hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I angssrt2r2021 10:47 ‘A dopamina modula vigor relacionado & recompensa Os valores de azul em Figura 2mostram os pesos f médios (com SEs associados) para os seis regressores para 0 conjunto de dados D orig . Como no estudo original, descobrimos que a taxa média de recompensa (sinal de vigor) teve uma influéncia significativamente negativa nos RTs (t= ~6.91, p 0,001): quanto maior a recompensa média, mais rapidas as respostas, Observe que o efeito da taxa média de recompensa € igualmente forte na andlise atual, apesar do fato de que a taxa média de aprendizagem entre os assuntos é uma ordem de magnitude mais alta, ¢ 0 regressor resultante implica a integragio de recompensas ao longo de uma janela de tempo muito mais curta (verEigura 1b) Este feito da recompensa média é muito diferente do efeito da recompensa imediata que estaria disponivel dado 0 desempenho correto na tentativa atual, Semelhante & nossa andlise anterior, descobrimos que a recompensa imediata ndo teve impacto significative no TR; o pardmetro f para o regressor de recompensa disponivel ndo foi significativamente positivo (teste f de uma amostra , t= 1,82, p > 0,05). Para os regressores incémodos, encontramos um efeito negativo significativo dos regressores de Repetigio de Estimulo , Linear ¢ Intervalo (= (- 8,72, -9,23, ~2,98, ~7,58), p <0,01) de acordo com nossa relatério anterior (Figura 3) 0.05 -0.05) beta 0.1 0.15) 0.2 Abra Figura 2 Valores médios £ para os conjuntos de dados D gg (azul; Guitart-Masip ef al,2011 )€ D cansado (vermelho), estimados por meio do algoritmo de maximizagio da expectativa. As barras di ativa nas médias em p <0,05 com base em um teste f de duas amostras . A reprodugdo colorida desta figura esti disponivel na revista Newropsychopharmacology online. sro sio SEs e hitps:iwwuzncb.rim.nih.govlpmelarticles/PMC3682144I sngyoit212021 10:47 ‘A doparina modula a vigor rlacionado & recompensa 01 beta 0.1 0.2 wr RS Lin Toolate ITI Abra.em uma janela separada Figura 3 Valores médios de f para individuos que receberam placebo (azul), L-Dopa (vermelho) e citalopram (verde) estimados por meio do algoritmo de maximizaglo da expectativa, As barras de erro sio SEs e os asteriscos indicam diferenga significaiva nas médias em p <0,05 com base em um teste ¢ de duas amostras ‘A reprodugo colorida desta figura esté disponivel na revista Neuropsychopharmacology online. Experiéncia ‘Cansado" Esperdvamos que, depois de esperar 150 minutos e participar de uma tarefa de tomada de decisio baseada em recompensa nio relacionada, o impacto da recompensa média no vigor fosse reduzido, devido a fadiga ou a desvalorizagao da recompensa, De fato, embora tenhamos descoberto que o valor de B associado ao sinal de recompensa médio em D cansado foi significativamente negativo ( teste ¢ de ‘uma amostra , p <0,05, t= —2,21; pontos vermelhos emEigura 2), 0 valor foi significativamente menor do que em D gyig (teste t de duas amostras , p <0,05, t= 2,58). Os efeitos de outros regressores foram semelhantes nos dois conjuntos de dados, com apenas a Repeticdo do Estimulo tendo um efeito significativamente mais forte (teste ¢ de duas amostras , t= -2,50, p <0,05). Esses resultados nos levaram a esperar um sinal de vigor mais fraco em todos os grupos de sujeitos em D pharm Efeitos das manipulagées farmacolégicas hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I 1019ssrt2r2021 10:47 ‘A dopamina modula vigor relacionado & recompensa ‘Tendo examinado o efeito da fadiga, nos voltamos para D pharm + com os resultados para placebo (D plac » 821), L-Dopa (D jgopa » Vermelho) ¢ citalopram (D gi. Verde) mostrados embjeura 3. Primeiro = verificamos os efeitos no D pjac - Para o sinal de recompensa médio, Cosconramss novamente um peso negativo implicando que o sinal de recompensa médio faz com que os individuos acelerem, embora isso agora fosse apenas limitrofe significativo (t= -1,96, ~ p = 0,06) para 0 grupo de controle. Isso esté em contraste com D orig , mas consistente com D cansado » Para a recompensa disponivel, Ry, encontramos um pequeno efeito positive (ndo significative usando um teste fp > 0,05, 0,92), semelhante a0 nosso estudo anterior, Como em nossos conjuntos de dados anteriores, isso implica que havia uma tendéncia fraca para os individuos desacelerarem & medida que a recompensa disponivel instantaneamente aumentava, Em relago aos pardmetros de incdmodo, os coeficientes fi de D pte foram quase idénticos aos de D orig , nfo exibindo nenhuma diferenca significativa (teste ¢ de duas amostras , p > 0,05 para todos os regressores, ¢ = (0,69, -1,02, 1,38, - 0,26)) (Eigura 4) 0.12 a Original Tired Placebo L-Dopa Citalopram Abra em uma janela separada Figura 4 B Valores para o reg: sor da taxa média de recompensa entre as condigées experimentos. As barras de certo sio SEs ¢ 0 asterisco indica diferenga significativa nas médias em p <0,05 com base em um teste ¢ de duas amostras Comparando ‘Placebo' com ‘L-Dopa’ Individuos ‘Nosso principal interesse neste estudo foi comparar D jJopq Com D jae - Conforme previsto por nossa hipétese e pelo modelo original ( Niv et al, 2007 ), descobrimos que grupo L-Dopa teve um efeito significativamente mais forte (mais negativo) da taxa média de recompensa em comparagao com hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I angssrt212021 10:47 ‘A dopamina modula vigor relacionado & recompensa grupo de controle ( ¢=-2,28, p <0,05). Ou seja, os individuos que receberam L-Dopa modularam seus tempos de resposta mais fortemente com base no histérico de recompensa recente do que os individuos de controle (verEigura 3) Houve também uma diferenga significativa entre os dois grupos para o regressor de intervalo entre ensaios , para o qual os individuos com L-Dopa mostraram menos efeito de um longo tempo de preparacao (teste ¢ de duas amostras , p <0,05, t= -2,17). Nao encontrémos qualquer outra diferenga significativa para o regressor recompensa disponivel, R ; (duas amostras fest, t= -1,86, p > 0,05), 0 regressor linear (= -1,10, p > 0,05), ou o regressores binétios, indicando a repetigdo do estinnulo (¢= 0,21, p > 0,05) ou uma resposta muito tardia na tentativa anterior ( = -0,73, p > 0,08), Comparando individuos com ‘Placebo’ e ‘Citalopram’ Nao houve diferenga significativa entre D git ¢ D plac Para qualquer coeficiente de regressio (teste t de dduas amostras , p > 0,05) e, de fato, todos os valores f médios foram muito semelhantes (verFigura 3) ‘Comparando os coeficientes para a taxa média de recompensa (sinal de vigor) em todos os grupos, descobrimos que os valores pata D plac © D cit © D cansado eram todos significativamente diferentes dagucles Pata D oyig (teste (de 2 amostras , = (3,25, 2,31, 2,58), p <0,05), enquanto que para D dopa no foi (D orig vetSus D dopa = 0,94, p > 0,05), verEigura 4. Comparando ‘L-Dopa’ com ‘Citalopram’ individuos A diferenga entre D jgopa € D cix para nem o efeito da recompensa disponivel ou a taxa de recompensa média (teste ¢ de duas amostras , p > 0,05, 1= (0,65, -1,37)), nem para a Repetigio de Estimulo ou Os regressores lineares (teste £ de duas amostras ,p > 0,05, = (0,39, -0,79)) foram significativos. Os Iinicos regressores que mostraram efeitos significativos foram Tarde demais ¢ Intervalo entre tentativas (teste f de duas amostras ,1= (- 2,49, 2,08), p <0,05, consulteEigura 3) Isso implica que o grupo Citalopram foi menos estimulado por estar muito tarde do que o grupo L-Dopa, enquanto o grupo L~ Dopa foi menos capaz de usar seu tempo de preparagao para acelerar suas respostas. DiscussAO Ard tivo € o vigor da resposta foi examinada em uma série de estudos experimentais ( Cools er al , 2005 ; Satoh ef al, 2003 ; Wittmann et al, 2005 ), mostrando que, para hhumanos ¢ animais, as agdes instrumentais so influenciadas pelos valor subjetivo das recompensas no meio ambiente. Do ponto de vista formal, pelo menos trés fatores devem determinar o vigor ou a laténcia de uma resposta, Em primeito lugar, a propria tarefa poderia exigir uma resposta adequadamente rpida, como de fato foi o caso na tarefa presente, e conforme estudado mais, sistematicamente em paradigmas de evitagdo ativa ( McCleary, 1961) Fm segundo lugar, os assuntos podem apresentar uma compensagio entre velocidade e precisdo, diminuindo a velocidade para ter um desempenho mais competente, Terceiro, os sujeitos podem ser capazes de minimizar o custo de oportunidade associado as recompensas que so adiadas se as ages forem negligentes. Jo entre a motivago do inc No contexto de nossa tarefa, o primeiro desses efeitos, ¢ de fato qualquer contraparte pavloviana, como impulsividade apetitiva preparatéria ou consumadora associada a predigdo ou presenga de uma recompensa potencial ( Evenden e Robbins, 1983 ), ou transferéncia apetitiva de Pavlovian para Instrumental ( Talmi er al,.2008 ), deve depender da recompensa imediatamente oferecida, R y . A ‘mesma dependéncia seria esperada para uma compensacao entre velocidade e preciso. Discutimos 0 Primeiro e o segundo fatores posteriormente, pois a teoria que propusemos testar ( Niv et al, 2007 ) considera a influéncia do terceiro fator, com o custo de oportunidade sendo a taxa média de recompensa. 'Nés replicamos nossa descoberta anterior ( Guitart-Masip et al.,2011 ) mostrando que a taxa média local de recompensa influencia 0 vigor das respostas instrumentais de voluntarios humanos saudiveis. ‘Aqui, por causa das exigéncias da farmacocinstica dos medicamentos utilizados, e de uma tarefa hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I sanossit212021 10:47 ‘A dopamina modula vigor relacionado & recompensa intermedidria, nossos sujeitos apresentavam tendéncia ao cansago. Assim, como qualquer descoberta de que o vigor relacionado & recompensa foi reduzido pode estar sujeita a interpretagdes alternativas, coletamos dados de controle adicionais para avaliar os efeitos do proprio cansago. Nossa principal descoberta foi que o efeito dessa fadiga foi revertido pela administragdo de levodopa = ou seja, 0 aumento da dopamina aumentou o vigor relacionado a recompensa. Este efeito foi esp para o vigor relacionado & recompensa ¢ ndo um efeito geral na excitago, como mostrado pela falta de feito nas classificagdes subjetivas da escala analégica, Além disso, entre todas as variéveis incmodas incluidas em nossa andlise de regressio, a nica diferenga significativa entre o placebo e L-Dopa foi observada no regressor de intervalo entre os ensaios, em que L-Dopa diminuiu o efeito de tempos de preparacdo mais longos entre a exibigdo do disponivel recompensa ¢ o aparecimento do estimulo alvo. No minimo, isso sugere que os patticipantes ficaram menos excitados depois de receber a droga. Esses resultados confirmam uma sugestio te6rica de que a dopamina tem um papel ertico no vigor da resposta (Guitart-Masip et al. 2011 ), uma hipdtese baseada em uma riqueza de dados experimentais mostrando que os niveis aumentados de dopamina aumentam o vigor do movimento em ambos os animais ( Lex ¢ Hauber, 2008 1986 ; Ungerstedt, 1971) em humanos ( Guita petal.,2012a ), ¢ foram previamente testados de forma menos direta ( 2007 ; ca, 2002 J, Esses estudos implicam 0 nucleus accumbens como pelo menos um local relevante para a ago revigorante da dopamina ( Balleine, 2005 ‘fico Mazzoni et al De acordo com a teoria original, o acoplamento da dopamina ao vigor & de natureza instrumental (maximizando a taxa média de recompensa) e depende dos niveis tonicos desse neuromodulador. No entanto, os efeitos pavlovianos também podem ter uma parte importante, por exemplo, um acoplamento direto entre a taxa de recompensa e o vigor, mesmo em tarefas nas quais isso no aumenta realmente a taxa média de recompensa. Esse acoplamento direto pode, em casos extremos, levar a um comportamento prejudicial, conforme descrito em animais ( Breland ¢ Breland, 1961 ) ¢ humanos ( jasip_et al, 2012b), em que o comportamento vigoroso a luz da recompensa |, de fato, pode levar a uma recompensa geral menor. Em nossa tarefa, um desacoplamento cficaz dos sistemas Pavloviano ¢ instrumental poderia ter sido alcangado se o intervalo entre as tentativas tivesse sido aumentado para compensar as tentativas nas quais os sujeitos responderam rapidamente, Essa manipulagdo colocaria as tendéncias comportamentais pavlovianas ¢ instrumentais «em oposigdo. Seria simples testar isso, por exemplo, usando um esquema de recompensa baseado no reforgo diferencial de baixas taxas de resposta (para um exemplo do uso desta técnica, consulte ( Sokolowski e Salamone, 1994)), Nosso experimento testou uma forma branda disso, pois violava as condigdes da teoria original 20 tomar a obtengo da recompensa dependente de uma resposta executada dentro de um tempo fixo (400 ou 500 ms). O fato de que & a taxa de recompensa baseada em testes historicos, e ndo a oferta real no teste atual, que aumenta 0 vigor, pode ser visto em termos pavlovianos. imediatamente © papel da recompensa disponivel instantaneamente, R ;, era intrigante. Usando nossa anélise anterior, ‘bem como a anilise mais sensivel neste estudo, descobrimos que ela nfo teve efeito significativo sobre © TR (embora, como antes, 0 coeficiente fosse numericamente positivo, ou seja, associado, se alguma coisa, A desaceleragao). Isso esta em forte contraste com o efeito claro e repetivel da taxa média de = recompensa rr Um problema para a falta de efeito da recompensa instantinea ¢ a possibilidade de ue ela surja por meio da interagdo com uma troca de velocidade-precisio (por exemplo, com uma tendéncia de os sujeitos acelerarem por causa da recompensa maior sendo temperada pelo fato de que isso pode tomé-los menos precisos). No entanto, como em nosso experimento anterior, no encontramos correlagao entre os sujeitos entre a recompensa disponivel e a proporgao de respostas corretas (calculada entre os sujeitos, r= 0,047, p > 0,05). Isso sugere que nosso principal efeito farmacolégico é independente de tais compensagdes, de acordo com um estudo recente ( Wink: . 2012) E notavel que os pacientes com Parkinson, com deficiéncias na sinalizago da dopamina, hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I san9son22021 10:47 ‘A doparina modula a vigor rlacionado & recompensa apresentam compensagdes normais entre velocidade ¢ preciso ¢ apenas uma propensdo para ages mais lentas ( Mazzoni ef al, 2007 ), Junto com nossa descoberta da modulagdo dopaminérgica do vigor relacionado a recompensa, ¢ tentador sugerir que a dopamina esté seletivamente envolvida no acoplamento entre as taxas médias de recompensa eo vigor, Nossos ultados aparentemente no estio de acordo com os estudos que utilizaram a tarefa de Atraso do Incentivo Monetario ou tarefas relacionadas (por exemplo, Cools e¢ al 2005 ; Knutson et al, 2001 ; Wittmann et af 2005) Nesses experimentos, os participantes devem apertar rapidamente 0 botdo a0 receber um sinal de partida para obter recompensas monetérias de diferentes magnitudes. As respostas sio normalmente mais répidas para testes nos quais recompensas maiores estio disponiveis. No cntanto, essas tarefas envolvem uma comparacao categérica entre diferentes niveis de magnitude de recompensa, geralmente envolvendo diferengas de uma ordem de magnitude ¢ onde as flutuagdes locais na recompensa média so provavelmente pequenas. Pesquisas futuras com uma variante da tarefa Atraso de incentivo monetirio envolvendo ambos os niveis categéricos de magnitude de recompensa com manipulagGes sistematicas da taxa média de recompensa so necessarias para entender a relago exata entre recompensa disponivel e recompensa média no vigor da resposta (© modelo computacional de Niv et al (2007) sugeriu que a recompensa média foi codificada por sinais de dopamina tonica, No entanto, nesta teoria, o problema de decisao subjacente & estaciondrio, o que nao & verdade em nosso teste experimental e, portanto, a escala de tempo exata em que a recompensa ‘média é realizada na sinalizago dopaminérgica nao esta completamente clara, Varias maneiras de ‘medir as concentragdes de dopamina em varias escalas de tempo estio disponiveis, incluindo voltamettia efelica (Gan et al 2010 ) ou microdialise ( Westerink e” al, 1996) De fato, experimentos usando microdidtise mostraram que no estriado ventral a dopamina aumenta em uma escala de tempo de minutos quando os animais executam respostas instrumentais em tarefas operantes livres ( Ostlund etal. 2011 ; Segovia et al, 2011 ), Curiosamente, a saciedade induziu uma diminuigio no vigor da resposta, que foi correlacionada com a diminuigo do efluxo de dopamina na casca do nucleus 2011). accumbens ( Ostlund et a ‘Uma complexidade importante diz respeito aos sinais de dopamina fisica, ji que os aspectos tonicos e fasicos da dopamina estio dirctamente ligados ( Grace, 1991 ) e ambos so afetados pela levodopa ( Cools, 2006 ), Frros de previstio de recompensa induzidos por pistas, potencialmente incluindo a indicagdo da recompensa imediatamente disponivel, so fortemente acoplados & atividade fisica dos neurénios de dopamina ( Schultz ef al. 1997 ), bem como concentragio extracelular de dopamina ( Gan et al. 2010). Além disso, os RTs so negativamente correlacionados com a atividade fasica dos neurdnios de dopamina ( Satoh ef al_, 2003) Portanto, seria de se esperar um efeito negativo da recompensa disponivel sobre os RTS. No entanto, oposto a isso, encontramos uma correlagdo neutra ou positiva, tomando improvavel que esses sinais dopaminérgicos de curto prazo sejam responsiveis pela modulagdo dopaminérgica observada da recompensa média. Algumas evidéncias sobre a escala de tempo apropriada vém das taxas de aprendizagem associadas & recompensa média que encontramos por meio do ajuste do modelo, f importante notar que no houve diferenca significativa nas taxas de aprendizagem entre os grupos, portanto, esta ndo pare pela qual a levodopa poderia afetar 0 vigor. No entanto, enquanto no experimento atual descobrimos que a taxa de aprendizagem variou entre 0,113 ¢ 0,154 por tentativa, implicando em uma janela de tempo para média de cerca de 30 s, no estudo anterior usamos uma tinica taxa de aprendizagem para todos os assuntos ajustados nos dados piloto que foi de 0,012 por ensaio, implicando em média ao Iongo de 5 min. Devido as limitagies de sensibilidade da anélise usada no estudo original, geramos um Ainico regressor para a recompensa média, com a taxa de aprendizagem ajustada aos tempos de resposta meédios em todos os assuntos. Na anélise atual, mais sensivel, ajustamos a taxa de aprendizagem individvalmente para cada assunto, Como mostrado emtabela 1, calcular a taxa de aprendizado dessa forma para os sujeitos do estudo original leva a um valor médio consistente com todas as outras taxas de aprendizado que encontramos no conjunto de dados atual. Portanto, suspeitamos que nosso hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I sangssrt212021 10:47 ‘A dopamina modula vigor relacionado & recompensa procedimento anterior subestimou as taxas de aprendizagem. No entanto, mostramos aqui que as conclusdes criticas sobre a influéncia da recompensa média ¢ da recompensa imediatamente oferecida permanecem verdadeiras, ‘Nao encontramos nenhum efeito do citalopram no impacto da recompensa média no vigor da resposta, nem encontramos uma diferenga significativa em relago ao grupo da levodopa. Um dos principais pilares da versio atual da proposta computacional de que a serotonina atua como um oponente & dopamina ( Boureau ¢ Dayan, 2011 ; Deakin 1991 ) & que a serotonina esta diretamente implicada na inibi¢do comportamental, quiescéncia comportamental ¢ espera ( Huys e Dayan, 2009 ; Miyazaki et al, 2012 ) em contraste com 0 envolvimento da dopamiina na ativagao comportamental ( Cools et al, 2011 ; Guitart-Masip et al, 2012a) No entanto, & possfvel que os efeitos da serotonina na inibigdo da resposta sejam observados apenas quando as agdes sfo realizadas em um contexto que inclui punig6es ( Crockett er al 2009 , 2012 J, Além disso, o envolvimento da serotonina na inibigdo & tipicamente complicado ( Caols et al..2011 ), € mesmo os efeitos regionais sobre a concentragao de serotonina de doses tinicas de citalopram so controversos ( Bari et al, 2010) Como um inibidor seletivo da recaptagio da serotonina, o efeito direto do citalopram surge através do aumento local da disponibilidade de serotonina, No entanto, a administrago aguda de citalopram pode resultar na diminuigdo da disponibilidade total de serotonina pés-sindptica, pelo menos no nivel cortical ( Selvarsj et.al, 2012), possivelmente por meio de um mecanismo inibitério pré-sindptico ( Artigas et al , 1996 ; ct al, 1995) Apesar dessas incertezas sobre os efeitos do citalopram sobre os niveis de serotonina, a inclusdo dessa droga pode destacar o envolvimento seletivo do sistema serotonérgico em fungdes cognitivas especificas. Uma possibilidade que pode ser testada em experimentos futuros & se a serotonina esté envolvida no acoplamento da taxa média de punigdo & preguiga ( Dayan, 2012 ). Predigdes mais complexas foram feitas sobre o efeito da dopamina e da serotonina em paradigmas de evitacdo ativa, onde respostas precoces so necessérias para evitar punigdes ( Da Uma possivel limitagdo do experimento atual relaciona-se ao fato de que @ dopamina flutua com o ciclo menstrual ( Czoty et al, 2009 ; J D'Esposito, 2011 ; Osse 2011 ). Isso pode resultar no aumento da variabilidade dos efeitos da L-Dopa e pode ter um efeito de! avaliar os efeitos cognitivos de uma manipulagdo farmacolégica. E importante ressaltar que embora o rufdo aumentado certamente pudesse ter sido problemético a luz de um resultado negativo, o efeito sighificativo da L-Dopa que encontramos no que era uma amostra mista pode ser visto como mais fortemente sugestivo do envolvimento do sistema dopaminérgico no regulagao do vigor da resposta jia de Em suma, mostramos que no apenas o vigor do movimento humano é modulado pela taxa mi recompensa, mas que esse sinal também é provavelmente codilicado pelo sistema dopaminérgico no sistema nervoso central. Isso aumenta nossa compreensdo dos aspectos motivacionais da dopamina, para complementar as investigagSes muito mais extensas de seu papel no aprendizado sobre recompensas. Agradecimentos Este trabalho foi apoiado por um prémio Wellcome Trust Senior Investigator Award 098362 /Z/ 12 /Z para RJD, a Gatsby Charitable Foundation (UB, PD), e um FP7 Marie Curie Reintegration Grant para UB (231115); 0 estudo foi realizado no Wellcome Trust Centre for Neuroimaging, uma instalago apoiada por fundos basicos do Wellcome Trust Grant 091593 /Z./ 10 /Z. Notas Os autores declaram nio haver conflito de interesses, Notas de rodapé {As informapdes suplementares acompanham 0 artigo no site da Neuropsicofarmacologia (http:sivern.nature.comnpp) hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I 159ssn21z021 1047 ‘A doparina modula a vigor rlacionado & recompensa Material suplementar Material Suplementar Online Clique aqui para arquivos de dados adicionais, (73%: 4°) Referéncias Aberman JE, Salamone JD. As deplegdes de dopamina do Nucleus accumbens tomam 0s ratos mais sensiveis aos requisitos de alta proporgao, mas nao prejudicam o reforgo alimentar primétio, Neurociéncias, 1999; 92 : 545552. { PubMed ] [ Google Scholar ] Artigas F, Romero L, de Montigny C, Blier P. Aceleragao do efeito de drogas antidepressivas selecionadas na depressio maior por antagonistas de S-HTIA. Trends Neurosci. 1996; 19: 378- 383. [ PubMed ] [ Google Scholar ] Balleine B. Bases neurais da bus corticoestriatolimbicos. Physiol Behar. 2005; 86 : 717-730. { PubMed ] [ Google Scholar ] Bari A, Theobald DE, Caprioli D, Mar AC, Aidoo-Micah A, Dalley JW, et al. A serotonina modula a sensibilidade a recompensa e feedback negativo em uma tarefa de aprendizagem reversa probabilistica em ratos. Newropsicofarmacologia, 2010; 38 : 1290-1301. [ Attigo guitis PMC ] [ PubMed ] { Google Scholar ] Boureau YL, Dayan P. Oponéncia revisitada: competigao ¢ cooperagio entre dopamina e serotonina. Neuropsicofarmacologia, 2011; 36 : 74-97. [ Artigo gritis PMC ] [ PubMed ] [ Google Scholar ] Breland K, Breland M. O mau comportamento dos organismos. Am Psychol. 1961; 16 : 681-684. [Goo r] Cools R. Modulagio dopaminérgica das implicagdes da fungo cognitiva para o tratamento com L~ DOPA na doenga de Parkinson. Neurosci Biobehav Rev. 2006; 30 : 1-23. [ PubMed } por alimento: afetam a excitagdo e a recompensa nos circuitos zies L, Cox S, Robbins TW. O esgotamento do triptofano interrompe a orientagdo motivacional do comportamento direcionado a um objetivo em fungdo da impulsividade do trago. Neuropsicofarmacologia, 2005; 30 : 1362-1373. [ PubMed } [ Google Scholar ] Cools R, Nakamura K, Daw ND. Serotonina e dopamina: unificando fungdes afetivas, ativacionais ¢ de decisdo, Newropsicofarmacologia, 2011; 36 : 98-113. [ Artigo guitis PMC ] [ PubMed } [ Google Scholar] Correa M, Carlson BB, Wisniecki A, Salamone JD. Nucleus accumbens dopamina e requisitos de trabalho em horitios de intervalo, Behav! Brain Res. 2002; 137 : 179-187. [ PubMed ] [ Google Scholar] Crockett MJ, Clark L, Apergis-Schoute AM, Morein-Zamir S, Robbins TW. A serotonina modula os efeitos das previsées aversivas pavlovianas sobre o vigor da resposta. Neuropsicofarmacologia. 2012; 37 : 2244-2252. [ Artigo gritis PMC ] | PubMed ] [ Google Scholar } Crockett MJ, Clark L, Robbins TW. Reconciliando o papel da serotonina na inibigao e aversi comportamental: a deplecdo aguda de triptofano elimina a inibigdo induzida por punigo em humanos. J Neurosci. 2009; 29 : 11993-11999. [ Arti PMC } [ PubMed } [Google Scholar] Czoty PW, Riddick NV, Gage HD, Sandridge M, Nader SH, Garg S, etal. Efeito da fase do ciclo ‘menstrual na disponibilidade do receptor D2 da dopamina em macacos cynomolgus fémeas. Neuropsicofarmacologia. 2009; 34 : $48-5S4, [ PubMed ] [ Google Scholar ] Daw ND, Kakade S, Dayan P. Opponent interagdes entre serotonina e dopamina, Neural Netw: 2002; 15 : 603-616. [ PubMed ] [ Google Scholar ] Dayan P. Vigor instrumental em punig&o e recompensa. Eur J Neurosci, 2012; PubMed ] [ Google Scholar ] 1152-1168, [ hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I r6i9ssit2r2021 10:47 ‘A dopamina modula vigor relacionado & recompensa Deakin JF, Graeff FG. 5-HT ¢ mecanismos de defesa. J Psychopharmacol. 1991; § : 305-315. [ PubMed ] [ Google Scholar ] Evenden JL, Robbins TW. Efeitos dissocidveis de d-anfetamina, clordiazepoxido e alfa-flupentixol na escolha e medidas de taxa de reforgo em ratos. Psychopharmacology. 1983; 79 : 180-186. [ PubMed ] [ Google Scholar ] Floresco SB, West AR, Ash B, Moore H, Grace AA. A modulagdo aferente do disparo dos neurdnios da dopamina regula diferencialmente a transmissdo da dopamina tonica e fisica, Nat Neurosci 2003; 6 : 968-973. [ PubMed ] [ Google Scholar ] Gan JO, Walton ME, Phillips PEM. Codificag3o dissociavel de custo e beneficio de recompensas futuras pela dopamina mesolimbica. Nature Neurosci. 2010; 13 : 25-27. [ Artigo gratis PMC ] [ PubMed } [ Google Scholar ] Grace AA. Liberagdo de dopamina fasica versus tOnica ¢ a modulagao da responsividade do sistema dopaminérgico: uma hipdtese para a etiologia da esquizofrenia, Neurociéncias. 1991; 41 : 1-24. [ PubMed } [ Google Scholar ] Guitart-Masip M, Beietholm U, Dolan R, Duzel E, Dayan P. Vigor em face das taxas flutuantes de recompensa: um exame experimental. J Cogn Neurosci. 2011; 23 : 1-6, [ PubMed ] [ Google Scholar ] Guitart-Masip M, Chowdhury R, Sharot T, Dayan P, Duzel B, Dolan RJ. A agdo controla o aumento dopaminérgico das representagdes de recompensa, Proc Natl Acad Sei USA. 2012a; 109: 7511— 7516. [ Artigo guitis PMC ] [ PubMed ] [ Google Scholar ] Guitart-Masip M, Huys QUM, Fuentemilla L, Dayan P, Duzel E, Dolan RJ. Aprendizagem it e nao ir em recompensa e punigao: interagdes entre afeto e efeito. Newrolmage. 20120; 62 : 154-166, [ Antigo gritis PMC ] [ PubMed ] [ Google Scholar } Hajés M, Gartside SE, Sharp T. Inibigdo de neurénios mediana e dorsal da rafe apés administragao do inibidor seletivo da recaptagio da serotonina paroxetina, Naunyn Schmiedebergs Arch Pharmacol. 1995; 381 : 624-629. [ PubMed ] [ Google Scholar] Huys QUM, Dayan P. Uma formulagdo Bayesiana de controle comportamental. Conhecimento. 2009; 113 : 314-328. [ PubMed ] { Google Scholar] Jacobs E, D'Esposito M. Estrogen molda processos cognitivos dependentes de dopamina: implicagdes para a saiide da mulher. J Neurosci. 2011; 31 : 5286-5293. [ Artigo gritis PMC ] [ PubMed ] [ Google Scholar ] Knutson B, Adams CM, Fong GW, Hommer D. A antecipagdo do aumento da recompensa monetéria recruta seletivamente o miicleo accumbens. J Neurosci. 2001; 21 : RC1S9. [ Autiga geitis PMC ] [ PubMed ] [ Google Scholar ] Knutson B, Westdorp A, Kaiser E, Hommer D. Visualizago de FMRI da atividade cerebral durante ‘uma tarefa de atraso de incentivo monetério, Neuroimage. 2000; 12 : 20-27. [ PubMed ] [ Google Scholar ] Lex A, Hauber W, Dopamine D1 ¢ D2 receptores no miicleo accumbens core e shell medeiam a transferéncia Pavloviansinstrumental. Aprenda Mem. 2008; 15 : 483-491. [ Artigo gritis PMC ] [ PubMed } | Google Scholar | Mazzoni P., Hristova A., Krakauer JW. Por que no nos movemos mais répido? Doenga de Parkinson, vigor do movimento e motivagio implicita. J Neurosci. 2007; 27 : 7105-7116. [ Antigo gritis PMC } [ PubMed } [ Google Scholar } McCleary RA. Especificidade de resposta nos efeitos comportamentais de lesdes do sistema limbico no gato. J Comp Physiol Psychol. 1961; $4: 605-613. [ Google Scholar ] ‘Mingote S, Weber SM, Ishiwari K., Correa M, Salamone JD. Razao e requisitos de tempo em. esquemas operantes: efeitos relacionados ao esforgo de deplegdes de dopamina do nucleus accumbens. Eur J Neurosci. 2005; 21 : 1749-1757. [ PubMed ] [ Google Scholar ] Miyazaki K, Miyazaki KW, Doya K. O papel da serotonina na regulagao da paciéncia e impulsividade. Mol Newrobiol, 2012; 45 : 213-224. [ Attigo gritis PMC ] [ PubMed ] [ Google Scholar ] Niv Y, Daw ND, Joel D, Dayan P. Tonic dopamine: os custos de oportunidade e o controle do vigor da resposta. Psychopharmacology. 2007; 191 : 507-520. { PubMed ] [ Google Scholar ] hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I wossrt212021 10:47 ‘A dopamina modula vigor relacionado & recompensa Ossewaarde L, Wingen GA, van, Kooijman SC, Bickstrm T, Femandez G, Hermans EJ. Mudangas no funcionamento dos citeuitos de processamento de incentivos mesolimbicos durante a fase pré- menstrual. Soc Cogn Affect Neurosci. 2011; 6 : 612-620. [ Artigo gttis PMC ] [ PubMed ] [ Google Scholar ] Ostlund SB, Wassum KM, Murphy NP, Balleine BW, Maidment NT. Os niveis extracelulares de dopamina em sub-regides do estriado rastreiam mudangas na motivagao e no custo de resposta durante o condicionamento instrumental. J Neurosci. 2011; 31 : 200-207, [ Antigo exitis PMC }[ PubMed ] [ Google Scholar] Parkinson JA, Dalley JW, Cardinal RN, Bamford A, Fehnert B, Lachenal G, et al. A deplegio de dopamina do Nucleus accumbens prejudica a aquisigdo e 0 desempenho do comportamento da abordagem Pavloviana do apetite: implicagdes para a fungdo da dopamina do mesoaccumbens. Behav Brain Res. 2002; 137: 149-163. | PubMed | | Google Scholar | Salamone JD, Correa M. Vistas motivacionais de reforgo: implicagdes para a compre: slo das fungdes -0 accumbens dopamina. Behav Brain Res. 2002; 137 : 3-25. { PubMed ] comportamentais do ni [Google Scholar] Salamone JD, Correa M. The Mysterious Motivational Functions of Mesolimbic Dopamine. Neuron. 2012; 76 : 470-485, [ Artigo gritis PMC ] [ PubMed } [ Google Scholar] Salamone JD, Steinpreis RE, McCullough LD, Smith P, Grebel D, Mahan K. Haloperidol e a deplegao de dopamina do nucleus accumbens suprimem a pressio da alavanca por comida, mas aumentam 0 consumo de comida livre em um novo procedimento de escolha de comida. Psychopharmacology. 1991; 104 : 515-521. [ PubMed ] [ Google Scholar ] Salamone JD, Wisniecki A, Carlson BB, Correa M. Nucleus accumbens deplegSes de dopamina tormam 0s animais altamente sensiveis aos requisitos de alta razdo fixa, mas ndo prejudicam o reforgo alimentar primério. Neurociéncias. 2001; 105 : 863-870. [ PubMed ] [ Googl x] Satoh T, Nakai S, Sato T. Codificago correlacionada de motivagio e resultado da decisio por neurénios de dopamina. J Neurosci, 2003; 23 : 9913-9923. [ Artigo gritis PMC ] [ PubMed ] Scholar ] Schultz W., Dayan P, Montague PR. Um substrato neural de predicdo ¢ recompensa. Ciéncia. 1997, 275 : 1593. [ PubMed } [ Google Scholar ] Segovia KN, Correa M, Salamone JD. Mudangas fésicas lentas na liberagdo de dopamina do nucleus accumbens durante a aquisigio de razdo fixa: um estudo de microdidlise, Newrociéncias. 2011; 196 178-188. [ PubMed ] [ Google Scholar Selvaraj S, Turkheimer F, Rosso L, Faulkner P, Mouchlianitis E, Roiser JP, et al. Medindo as alterages endégenas na neurotransmissdo serotonérgica em humanos: um estudo de desafio com PET [(11) C] CUMI-101, Mol Psychiatry: 2012; 17 : 124-1260. [ PubMed ] [ Google Scholar ] Sokolowski JD, Conlan AN, Salamone JD. Um estudo de microdialise do micleo do miicleo accumbens dopamina shell durante a resposta operante no rato. Neurociéncias. 1998; 86 : 1001-1009. [ PubMed }[ Gi ‘holar | Sokolowski JD, Salamone JD. Efeitos da deplegdo de dopamina no eértex pré-frontal medial no desempenho do DRL c na atividade motora em ratos. Brain Res. 1994; 642 : 20-28. | PubMed | [Google Scholar ] Soubrié P. Reconciliar o papel dos neurdnios centrais da serotonina no comportamento humano animal. Behav Brain Sci. 1986; 9 : 319-364. [ Google Scholar } Talmi D, Seymour B, Dayan P, Dolan RJ. Transferéncia humana pavloviana-instrumental. J Newrosci 2008; 28 : 360-368, [ Artigo gritis PMC ] [ PubMed } [ Google Scholar] Taylor JR, Robbins TW. Lesdes de 6-hidroxidopamina do nucleus accumbens, mas nao do nacleo caudado, atenuam a resposta aumentada com estimulos relacionados & recompensa produzidos por intra-accumbens d-anfetamina. Psychopharmacology: 1986; 90 : 390-397. [ PubMed ] [ Google Scholar] Ungerstedt U. Adipsia e afagia apés degeneragao induzida por 6-hidroxidopamina do sistema dopaminérgico nigro-estriado. Acta physiol Scand Suppl. 1971; 367 : 95-122. { PubMed ] [Gove hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I sanossrt2r2021 10:47 ‘A dopamina modula vigor relacionado & recompensa Westerink B, Kwint H, deVries J. A farmacologia dos neurénios dopaminérgicos mesolimbicos: um. estudo de microdislise de dupla sonda na drea tegmental ventral no micleo accumbens do cérebro de rato. J Neurosci. 1996; 16 : 2605-2611. [ Artigo gra J [ PubMed } [ Google Scholar ] Winkel J, van Maanen L, Ratcliff R, van der Schaaf ME, van Schouwenburg MR, Cools R, et al. A bromocriptina nao altera a relagdo entre velocidade ¢ preciso, Front Neurosci, 2012; 6 : 126. [ Antigo gritis PMC ] [ PubMed ] [ Google Scholar ] Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Diizel E. A ativagdo de FMRI relacionada a recompensa do mesencéfalo dopaminérgico esti associada com a formagao de meméria de longo prazo dependente do hipocampo aumentada, Neuron, 2005; 48 : 459-467, [ PubMed ] [ Googie Scholar ] 0s artigos da Neuropsicofarmacologia so fornecidos aqui como cortesia do Nature Publishing Group hitps:iwwuzncbrim.nih.govlpmelarticles/PMC3682144I 1919