Arq Bras Cardiol volume 72, (n 2), 1999

Escosteguy CC Conferncia Metodologia de ensaios clnicos randomizados

Tpicos Metodolgicos e Estatsticos em Ensaios Clnicos Controlados Randomizados

Claudia Caminha Escosteguy
Rio de Janeiro, RJ

Os ensaios clnicos controlados randomizados constituem um dos principais avanos cientficos entre os mtodos de pesquisa durante o sculo XX. Estudo clnico ou ensaio clnico controlado randomizado um tipo de estudo experimental que usado como padro de referncia dos mtodos de pesquisa em epidemiologia, sendo a melhor fonte de evidncia cientfica disponvel e a melhor fonte de determinao da eficcia de uma interveno. O ensaio clnico randomizado trata-se de um estudo prospectivo que compara o efeito e valor de uma interveno (profiltica ou teraputica) com controles em seres humanos, no qual o investigador distribui o fator de interveno a ser analisado de forma aleatria atravs da tcnica da randomizao; dessa forma, os grupos experimental e de controle so formados por um processo aleatrio de deciso. Pode se referir a frmacos, tcnicas ou procedimentos 1,2. O termo eficcia refere-se ao resultado de uma interveno realizada sob condies ideais, bem controladas, como nos ensaios clnicos controlados. Efetividade refere-se ao resultado de uma interveno aplicada sob as condies habituais da prtica mdica, que incluem as imperfeies de implementao que caracterizam o mundo cotidiano 2. Segundo Feinstein 3, a idia da distribuio de um tratamento atravs da randomizao foi proposta por Fisher, em 1923, aplicada pesquisa agrcola. Em 1926, essa idia foi pela primeira vez usada clinicamente, por Amberson e cols., para testar o valor de um composto de ouro no tratamento da tuberculose. Esse estudo foi tambm o primeiro relatado sob a condio cega (blinded), isto , os pacientes desconheciam qual o tratamento recebido. Os controles receberam uma injeo de gua destilada; entretanto o termo placebo foi usado pela primeira vez no estudo de Diehl, em 1938, sobre vacinao contra resfriado 3. O termo ensaio clnico, de uma forma genrica, pode ser aplicado a qualquer forma de experimento planejado que envolva pacientes e que seja desenhado para elucidar o tratamento mais apropriado para futuros pacientes com uma

Hospital dos Servidores do Estado, Rio de Janeiro Correspondncia: Claudia Caminha Escosteguy - Av. Alexandre Ferreira, 361 22470-220 - Rio de Janeiro, RJ Recebido para publicao em 11/1/99 Aceito em 29/1/99

dada condio mdica. Alguns autores consideram tambm o termo ensaio clnico no controlado para descrever um estudo em que todos os participantes recebem o fator de interveno. Na verdade, este seria apenas um estudo descritivo dos efeitos de uma interveno num grupo. A maioria dos autores no considera tal estudo como um ensaio clnico, denominando no mximo de experimento no controlado. Autores mais puristas guardam o termo ensaio clnico apenas para os ensaios controlados e randomizados, no aceitando nem o uso do termo para ensaios controlados, porm sem randomizao 2. Os ensaios clnicos com drogas so freqentemente classificados em quatro fases principais da experimentao 1: Fase I - So ensaios de farmacologia clnica e toxicidade no homem, primariamente relacionados segurana e no eficcia, e geralmente realizados em voluntrios normais. O principal objetivo determinar uma dose aceitvel, isto , que possa ser dada sem causar efeitos colaterais srios. Tal informao freqentemente obtida a partir de experimentos de doses escalonadas, nos quais um voluntrio submetido a doses crescentes da droga, de acordo com um cronograma predeterminado. A fase I tambm envolve estudos do metabolismo e da biodisponibilidade da droga. Aps estudos em voluntrios normais, os ensaios iniciais em pacientes tambm constituiro parte da fase I. Tipicamente, estudos de fase I podem requerer entre 20-80 indivduos e pacientes. Fase II - So ensaios iniciais de investigao clnica do efeito do tratamento, constituindo investigaes ainda em pequena escala da efetividade e segurana da droga, com monitoramento cuidadoso de cada paciente. Algumas vezes os ensaios de fase II podem ser conduzidos como um processo de seleo de quais so realmente aquelas drogas que tm um potencial de efeito genuno entre as inmeras que so inativas ou excessivamente txicas, de tal modo que as drogas selecionada possam passar fase III. Raramente a fase II vai alm de 100-200 pacientes por droga. Fase III - Avaliao em larga escala do tratamento. Aps a droga ter sido demonstrada como razoavelmente efetiva, essencial compar-la em larga escala com o(s) tratamento(s) padro disponvel para a mesma condio mdica, em um ensaio clnico controlado envolvendo um nmero suficientemente grande de pacientes. Para alguns

139

Escosteguy CC Metodologia de ensaios clnicos randomizados

Arq Bras Cardiol volume 72, (n 2), 1999

autores, o termo ensaio clnico seria sinnimo desses ensaios de fase III, que vm a constituir a forma mais rigorosa de investigao clnica de um novo tratamento. Fase IV - Fase de vigilncia ps-comercializao (postmarketing surveillance). Aps um programa de pesquisa ter sido aprovado para comercializao, ainda existem questes a serem consideradas com relao a monitoramento de efeitos adversos e estudos adicionais, em larga escala, a longo prazo, de morbidade e mortalidade. Algumas vezes o termo ensaio de fase IV tem sido usado para descrever exerccios de promoo de uma nova droga dirigidos ao pblico mdico em geral, o que no deve ser confundido com a pesquisa dos ensaios clnicos propriamente dita. Deve ser lembrado que, precedendo aos ensaios clnicos, deve existir um programa anterior igualmente importante de pesquisa pr-clnica, incluindo a sntese de novas drogas e os estudos em animais referentes ao metabolismo, eficcia e sobretudo toxicidade potencial. Esta fase pr-clnica responsvel, na verdade, pela maior parte do gasto estimado com a pesquisa sobre drogas. Atualmente, a grande maioria dos ensaios clnicos relaciona-se avaliao de novas drogas e , principalmente, sustentada pela indstria farmacutica. Estima-se que do universo de novas drogas sintetizadas em laboratrios, apenas 1 em cada 10 mil atinge a fase de estudos clnicos, e no mximo 20% das que vo a ensaios clnicos so eventualmente comercializadas. A durao mdia de um programa inteiro de pesquisa relacionado a uma droga dura de 7 a 10 anos, dos quais aproximadamente a metade gasta em ensaios clnicos, envolvendo milhes de dlares 1, salientando o papel da indstria farmacutica. Os ensaios clnicos controlados randomizados apresentam as seguintes caractersticas principais 1-5: a) so estudos experimentais, e portanto envolvem importantes questes de ordem tica; b) arquitetura prospectiva: tm a arquitetura de um estudo de coorte, ou seja so prospectivos, com a peculiaridade de que o investigador utiliza uma tcnica de alocao aleatria (randomizao) para formar grupos com caractersticas semelhantes, de tal forma que as pessoas de um grupo recebam um tipo e tratamento enquanto as do outro grupo permanecem como controles; c) controle: necessrio comparar a experincia de um grupo de pacientes sob o novo tratamento com um grupo de pacientes semelhantes que recebam o tratamento convencional. Caso no haja nenhum tratamento convencional de real valor, pode ser apropriado usar um grupo controle de pacientes no tratados. A tcnica mais apropriada de obter a distribuio dos grupos tratado e controle a randomizao, que permite a distribuio aleatria entre ambos; d) randomizao: um processo de deciso que permite que os grupos de tratamento e controle sejam alocados de forma aleatria, sendo a melhor tcnica para evitar vis ou bias de seleo, alm de reduzir a possibilidade de vis de confuso. A beleza da randomizao reside no fato de permitir, se o tamanho da amostra for suficientemente grande, que tanto determinantes conhecidos quanto desconhecidos do resultado (outcome) de interesse sejam distribudos de forma semelhante entre os grupos tratado e controle 6. 140

H vrias tcnicas de randomizao 1,2: randomizao simples - a mais empregada, na qual os participantes so colocados diretamente nos grupos de estudo e controle, sem etapas intermedirias. Por exemplo, com o uso de uma tabela de nmeros aleatrios, os mpares vo para o tratamento e os pares para o controle; randomizao em blocos (block randomization) - caracteriza-se pela formao de blocos de nmero fixo de indivduos, de igual tamanho, dentro dos quais so distribudos os tratamentos em questo, bloco por bloco, at que termine o processo de alocao dos participantes da pesquisa. Tem a vantagem de conferir um nmero igual de participantes nos grupos de estudo e controle, mesmo que o ensaio seja interrompido antes do final previsto. til tambm em estudos com nmero reduzido de pacientes, pois a randomizao simples feita a partir de uma tabela de nmeros aleatrios s garante a homogeneidade entre os grupos quando h um grande nmero de participantes a serem randomizados; randomizao pareada - inicialmente so formados pares de participantes e a alocao aleatria feita no interior do par, de tal forma que um indivduo receba o tratamento em estudo e o outro o controle; randomizao estratificada - so formados inicialmente estratos e a alocao aleatria feita dentro de cada estrato; randomizao por minimizao - usa-se inicialmente a randomizao simples; aps alguns indivduos terem sido alocados, as caractersticas dos grupos so analisadas e os clculos so refeitos medida que novos participantes so recrutados, os quais sero colocados em um dos grupos de modo a diminuir as diferenas porventura detectadas ou para manter o equilbrio j alcanado. uma tcnica nova, em que a informtica permite o uso de muitas variveis a serem acompanhadas, de forma a obter o mnimo de diferenas entre os grupos. Alm das principais caractersticas j descritas, as seguintes questes metodolgicas devem ser consideradas quando da realizao de um ensaio clnico controlado randomizado: Tamanho da amostra - O ensaio deve recrutar um nmero suficiente de pacientes para obter uma estimativa de razovel preciso da resposta a cada tratamento envolvido. Embora existam consideraes de ordem prtica e tica, quanto ao tamanho da amostra, uma abordagem estatstica padro refere-se s estimativas do poder do estudo. H cinco questes relevantes com relao ao tamanho da amostra 1,2: 1) qual o principal objetivo do ensaio - por exemplo, verificar se a aspirina tem valor em prevenir morte ps-infarto, o que diferente de verificar se previne reinfarto ou se previne morte e reinfarto; 2) qual a principal medida de resultado (outcome) - por exemplo, morte de qualquer causa durante o 1 ms aps o tratamento, o que diferente de morte por causa cardiovascular; 3) como os dados sero analisados para que seja detectada uma diferena de tratamento - a forma mais simples a comparao entre percentagens, por exemplo, de mortes no grupo tratado e no grupo placebo; um teste X2 ser usado e o nvel de significncia de 5% ser aceito como mostrando evidncia de uma diferena de tratamento; 4) que tipo de resultados so antecipados com o

Arq Bras Cardiol volume 72, (n 2), 1999

Escosteguy CC Metodologia de ensaios clnicos randomizados

tratamento padro - por exemplo, estima-se 10% de mortalidade nos pacientes do grupo controle no primeiro ms aps o tratamento; 5) qual a menor diferena de tratamento considerada importante para ser detectada e com que grau de preciso - importante lembrar que a demonstrao de redues moderadas (por exemplo, 20-25%) do evento de interesse pode exigir a randomizao de milhares de pacientes 7. No clculo do tamanho da amostra devem ser levados em considerao o nvel a de significncia desejado para se detectar uma diferena de tratamento e o poder do estudo, ou seja, o grau de certeza de que a diferena entre os tratamentos ser detectada, caso ela exista realmente. Erro a ou erro do tipo I a probabilidade de detectar uma diferena que na verdade no existe, ou seja, a probabilidade de um resultado falso-positivo; geralmente estipula-se =0,05. Erro ou erro do tipo II a probabilidade de no detectar uma diferena quando ele realmente existe. O poder do estudo 1 - , e geralmente estipulado como 0,90. Quando o tamanho necessrio da amostra muito grande, o ensaio pode ser realizado em vrios centros, constituindo o chamado ensaio multicntrico, que evidentemente impe questes particulares de organizao e monitoramento. Organizao e planejamento do ensaio - fundamental definir com preciso: 1) quais so os pacientes elegveis, atravs de critrios de incluso e excluso bem definidos; 2) qual tratamento est sendo avaliado; 3) quais so os resultados ou outcomes ou endpoints de interesse a serem analisados; 4) como a resposta de cada paciente ser verificada. Monitoramento do processo do ensaio - necessrio monitorar a adeso ao protocolo, os efeitos adversos, o processamento dos dados e as anlise interinas da comparao entre os tratamentos. Possveis violaes e desvios do protocolo devem ser cuidadosamente analisados, tais como no adeso ao tratamento, perda de participantes, avaliao incompleta, cruzamento entre os grupos tratado e controle aps a randomizao. Este ltimo desvio, por exemplo, ocorreu no brao nitrato versus controle do estudo GISSI-3, em que 57% dos pacientes randomizados para controle receberam nitrato, diminuindo o poder do estudo detectar uma possvel diferena entre os dois grupos 8. Tipos de anlise - A anlise pode ser feita de duas formas principais 1,2: 1) entre aqueles que de fato completaram o tratamento em cada um dos grupos; 2) segundo a inteno de tratar (intention-to-treat), na qual so includos todos os que foram aleatorizados para formar os grupos, independentemente de terem ou no completado o tratamento. Esta forma tem sido a preferida, pois garante a manuteno dos grupos aleatrios e avalia o tratamento no mundo real, com suas imperfeies. Porm, necessrio saber o que ocorreu com os que no completaram o tratamento, assim como se houve cruzamento entre os grupos, e a dimenso desses fatos, pois se for muito grande poder introduzir vieses.

Anlise de subgrupo - O resultado fundamental de um ensaio clnico a descrio do resultado principal (outcome) de interesse em cada um dos principais grupos de tratamento. Embora seja tentador analisar os resultados em subgrupos especficos de pacientes, h grandes riscos inerentes a esta anlise. O primeiro deles um nmero inadequado de pacientes, se a referida anlise no fazia parte do plano amostral inicial. O segundo o risco de vieses, j que os subgrupos selecionados por caractersticas que so levantadas aps a alocao do tratamento podem no ser comparveis, ainda que tenham sido retirados de grupos inicialmente randomizados. Em terceiro, quando um grande nmero de subgrupos examinado, h uma chance aumentada de que alguns deles venham a mostrar uma diferena estatisticamente significativa espria. Um exemplo clssico dessa possibilidade de associao espria foi a anlise do efeito do signo astrolgico no estudo ISIS-2, sugerindo que a aspirina era benfica para todos os signos exceto Libra e Gmeos, para os quais havia aparentemente dano 9,10. Vieses ou bias em potencial - So fontes em potencial de vieses o processo de seleo dos grupos, a alocao do tratamento, a realizao da interveno da forma proposta, e a aferio dos resultados. A randomizao controla os dois primeiros. Perdas de seguimento e no-aderncia de participantes podem introduzir vieses, principalmente se diferentemente distribudas entre os grupos tratado e controle, e devem ser sempre mencionadas. Vis de aferio (tambm dito de informao, observao ou medida) resulta de diferenas sistemticas no modo que os dados sobre o evento de interesse so obtidos dos vrios grupos em estudo. So minimizados quando se usa a tcnica duplo-cego com placebos; porm nem sempre possvel, mesmo com essa tcnica, ocultar de observadores e observados os grupo a que estes ltimos pertencem. Outro interessante vis relaciona-se publicao dos ensaios, e no sua realizao propriamente dita; trata-se do vis de publicao, que a tendncia a serem mais publicados os estudos com resultados positivos. Desenho fatorial - Neste desenho os efeitos de vrios fatores so verificados em um nico ensaio. Por exemplo, no estudo das drogas A e B, um desenho fatorial avaliar 4 grupos de tratamento: A, B, A e B e controle sem nenhum delas. Um exemplo o ISIS-2 9, onde foram avaliados os efeitos do cido acetilsaliclico, da estreptoquinase, de ambos e de nenhum dos dois em pacientes com suspeita de infarto agudo do miocrdio (IAM). Ensaios do tipo seqencial (cross-over) - Freqentemente os ensaios esto preocupados com comparaes entre pacientes, sendo que cada paciente recebe apenas um tratamento. Algumas vezes pode ser adequado constituir comparaes seqenciais no mesmo paciente, isto , cada paciente do estudo receber mais de um tratamento. Um grande problema com os grupos paralelos convencionais 141

Escosteguy CC Metodologia de ensaios clnicos randomizados

Arq Bras Cardiol volume 72, (n 2), 1999

o fato de que os pacientes variam muito quanto ao seu estado inicial da doena e sua resposta ao tratamento. Freqentemente necessrio um grande nmero de pacientes em cada grupo para que seja estimado de forma confivel a magnitude de qualquer diferena de efeito 1,2. No se deve confundir o desenho cross-over com os chamados estudos de antes e aps (before and after), nos quais todos os pacientes recebem o mesmo tratamento e sua condio verificada antes do incio e em vrios momentos aps o tratamento, que so na verdade estudos no controlados 1,2. Um exemplo de ensaio do tipo cross-over o estudo do GREAT Group sobre segurana e eficcia da tromblise domiciliar 11: 163 Randomizao 148 grupo B: Placebo domiciliar APSAC hospitalar grupo A: APSAC domiciliar Placebo hospitalar

no conhecimento dos grupos do ensaio ajuda a evitar vieses de aferio, que tambm so minimizados quando se define o evento final de interesse da forma mais objetiva possvel. Vis de aferio particularmente passvel de ocorrer quando a avaliao da resposta ao tratamento requer julgamento clnico. Mesmo em eventos aparentemente bem definidos, como IAM, h muitas vezes a necessidade do julgamento clnico em casos limtrofes, nos quais se o estado do tratamento fosse conhecido, poderia haver uma tendncia do avaliador direcionar o diagnstico final a favor ou contra IAM. O termo duplo-cego refere-se queles ensaios nos quais nem o paciente nem aqueles responsveis pela sua assistncia e avaliao conhecem qual o tratamento que ele est recebendo. Na verdade, neste caso, os trs tipos de participantes esto cegos quanto condio do tratamento; porm, como freqentemente os mesmos clnicos que trabalham com a teraputica so os que avaliam o paciente, o termo duplo-cego adequado (no comum referir-se a triplo-cego; geralmente usa-se duplo-cego). Uso de placebo - O placebo constitui uma substncia de aparncia, forma e administrao semelhante ao tratamento que est sendo avaliado, porm sem ter o princpio ativo do mesmo. A principal razo para introduzir controles com placebo fazer com que as atitudes dos pacientes do ensaio sejam to parecidas quanto possvel nos grupos tratado e controle. O efeito placebo uma resposta a uma interveno mdica que apesar de ser definitivamente um resultado da mesma, no tem relao com seu mecanismo de ao especfico 4. Um princpio bsico a ser considerado que eticamente pacientes no podem ser alocados para receber placebo se existe um tratamento padro alternativo de eficcia estabelecida. Questes ticas - Talvez a grande catstrofe das anomalias congnitas induzidas pela talidomida nos anos 60 tenha sido um dos marcos no sentido da discusso e implementao de uma poltica mdica e pblica que levasse em considerao os aspectos ticos relacionados introduo de novos tratamentos. Nos EUA, em 1926, passou a ser exigido por lei que houvesse prova de eficcia antes que novas drogas fossem aprovadas para comercializao 2. O documento internacional bsico para a discusso tica dos ensaios clnicos a Declarao de Helsinque, 1964, revista em Tquio em 1975 2. Entre os documentos nacionais de relevncia esto o Cdigo de tica Mdica 12 e as Normas de Pesquisa envolvendo seres Humanos do Conselho Nacional de Sade 13. Mesmo quando a investigao plenamente justificada, algumas questes merecem reflexo: um dos pontos centrais a privao do grupo controle de um novo tratamento para o qual haja evidncias de ser nitidamente superior ao tratamento habitual. A no administrao aos pacientes de um tratamento eficaz s eticamente aceitvel se h dvidas quanto eficcia do tratamento; deve ser usado o menor tamanho de amostra informado pelos clculos que seja adequado para responder pergunta em

Avaliao cega - Ou mascaramento (blinding): a justificativa para esta tcnica reside no potencial para vis que ocorre quando todas as pessoas envolvidas no ensaio conhecem qual o tratamento que o paciente est recebendo. Quanto condio cega, h trs participantes a serem considerados: o paciente, o grupo de profissionais que aplica o tratamento e o avaliador 1. O chamado efeito Hawthorne diz respeito tendncia dos indivduos mudarem seu comportamento, porque so alvos de interesse e ateno especial, no importa a natureza especfica da interveno que esto recebendo. Uma forma de control-lo atravs do mascaramento e uso de placebo 4. O fato do paciente saber que est recebendo um novo tratamento pode ter efeito benfico psicolgico e, ao contrrio, o fato do paciente saber que est recebendo um ratamento convencional ou nenhum tratamento pode exercer um efeito desfavorvel. claro que o impacto depende do tipo de doena e da natureza do tratamento, mas tal possibilidade no deve ser subestimada mesmo em doenas no psiquitricas. Em relao ao grupo que aplica o tratamento, decises quanto a modificao de dose, detalhamento do exame do paciente, a continuao do tratamento do ensaio e a necessidade de outros tratamentos adicionais so geralmente da responsabilidade do mdico assistente, que pode influenciar o curso do tratamento de vrias maneiras. Essas decises podem ser influenciadas pelo conhecimento de qual grupo do ensaio o paciente pertence. Tambm, o entusiasmo por algum novo tratamento pode ser transferido ao paciente e ocasionar sua mudana de atitude, aumentando a adeso, por exemplo. Quanto ao investigador que avalia os resultados, se informado quanto ao tratamento de cada paciente, h um risco potencial, por exemplo, de registrar respostas mais favorveis para o tratamento que acreditam ser superior. O 142

Arq Bras Cardiol volume 72, (n 2), 1999

Escosteguy CC Metodologia de ensaios clnicos randomizados

investigao. O estudo deve ser interrompido se h evidncia definitiva, durante sua conduo, do benefcio ou ausncia de benefcio do tratamento em questo; o consentimento informado do paciente deve estar sempre presente. Todas as questes at ento discutidas dizem respeito validade interna do ensaio clnico. A difuso dos ensaios randomizados e seu uso como padro para demonstrao de eficcia teraputica tm possibilitado que evidncia cientfica de boa qualidade esteja disponvel antes que novos agentes teraputicos sejam introduzidos clnica. En-

tretanto, outro aspecto fundamental a ser discutido referese possibilidade ou no de generalizao dos resultados do ensaio. A validade externa de um estudo implica na possibilidade de se generalizar os resultados da amostra estudada para outras amostras, alm da populao-alvo do estudo. Envolve variaes de pacientes, de fatores de gravidade e variaes etno-culturais, alm de consideraes de custo x benefcio, risco, infra-estrutura e assim por diante. S se justifica tal considerao aps a constatao da validade interna do estudo.

Referncias
1. 2. 3. 4. 5. 6. 7. 8. Pocock SJ - Clinical Trials. A Pratical Approach. Brisbane: John Wiley & Sons, 1989. Pereira MG - Epidemiologia, Teoria e Prtica. Rio de Janeiro: Guanabara Koogan, 1995. Feinstein AR - Clinical Epidemiology. The Architecture of Clinical Research. Philadelphia: WB Saunders, 1985. Fletcher RH, Fletcher SW, Wagner EH - Epidemiologia Clnica: Bases Cientficas da Conduta Mdica. Porto Alegre: Artes Mdicas, 1989. Sackett DL, Haynes RB, Guyatt GH, Tugwell - Clinical Epidemiology: A Basic Science for Clinical Medicine. 2nd ed. Boston: Little Brown, 1991. The Evidence Based Medicine Working Group - How to use an article about therapy or prevention, 1998. Yusuf S, Wittes J, Friedman, L - Overview of results of randomized clinical trials in heart disease. JAMA 1988; 260: 2088-93. GISSI-3 - Effects of lisinopril and transdermal glyceril trinitrate singly and together on 6 week mortality and ventricular function after acute myocardial infarction. Lancet 1994; 343: 1115-221. ISIS-2 Collaborative Group - Randomised trial of intravenous streptokinase, oral aspirin, both or neither among 17187 cases of suspected acute myocardial infarction. Lancet 1988; I: 349-60. Yusuf S, Wittes J, Probstfield J, Tyroler, H - Analysis and interpretation of treatment effects in subgroups of patients in randomized clinical trials. JAMA 1991; 266: 93-8. GREAT Group - Feasibility, safety and efficacy of domiciliary thrombolysis by general practictioners: the Grampian Region Early Anistreplase Trial. Br Med J 1992; 305: 548-53. Conselho Regional de Medicina do Estado do Rio de Janeiro - Cdigo de tica Mdica. Legislao dos Conselhos de Medicina, 1988. Conselho Nacional de Sade - Normas de Pesquisa envolvendo Seres Humanos. Res. CNS 196/96. Braslia: Ministrio da Sade, 1996.

9.

10.

11.

12. 13.

143