Universidade Federal do ABC ­UFABC

Bacharelado em Políticas Públicas

Paula Rafaela Ferreira Barbosa R.A.: 21054014

TESTAR, APRENDER, ADAPTAR: DESENVOLVER AS POLÍTICAS PÚBLICAS

MEDIANTE EXPERIMENTOS ALEATÓRIOS CONTROLADOS.
(Laura Haynes, Owain Service, Ben Goldacre e David Torgerso)

O estudo nessa resenha refere-se aos Experimentos Aleatórios Controlados (EACs), na

argumentação de que pode-se utiliza-lo nas avaliações de eficiência de intervenções nas
políticas públicas, argumentados pelos autores do texto: “Testar, aprender, adaptar:
desenvolver as políticas públicas mediante experimentos aleatórios controlados”.

Os EACs vem sendo utilizados para comparar a eficiência de novos medicamentos, em

programas de desenvolvimento internacional, em companhias de website, mas ainda não
é comum nas áreas de políticas públicas.

No que se refere ao conceito, os Experimentos Aleatórios Controlados são métodos de

avaliação aplicados em grupos semelhantes, porém com diferentes tipos de tratamento.
Na prática os EACs tendem a dividir a população em dois ou mais grupos, dando
intervenção a um grupo, e outra para outro grupo, e no fim analisa-se os resultados de
cada grupo. Os autores do estudo, inserem um exemplo prático no âmbito das políticas
públicas, no caso da aplicação de um novo programa de incentivo ao emprego (“de volta
ao trabalho”) onde uma população a ser avaliada é dividida em dois grupos, no primeiro a
amostra é interferida através desse programa, e no segundo, a amostra (grupo de
controle) recebe um tratamento usual de alguém que busca emprego.

O fato investigado nos exemplos estudados, são os fatores externos a situação, que
interferem a abordagem convencional de avaliação. Nesse caso, listado acima, a situação
do emprego é externa ao programa, podendo sofrer intervenção da economia, da
conjuntura política, e de mecanismos sociais, porém ao separa-los em grupos
semelhantes, limita-se a interferência de fatores externos.

Nesses casos em que existem grande quantidade de fatores externos, indica-se a

aplicação dos EACs, para testar a eficiência do tratamento antes de implementá-la em
toda a população. Além disso, pode-se esperar que no exemplo abordado acima o
interesse principal é entender qual das duas intervenções (o novo programa, ou o
tratamento usual) funciona com mais eficiência.

Outra vantagem abordada pelos autores refere-se ao fato que esse mecanismo de
avaliação, pode ser aplicado em “partes” da política pública, o que contribui para que
possa refinar continuamente a política.

Embora existam bons exemplos da utilização dos EACs, eles ainda não são amplamente
utilizados, principalmente devido as críticas que ele recebe, que são defendidas pelos
autores, remetendo-as como mitos, e suposições incorretas.

Eles defendem que a maioria dos formuladores profissionais se baseiam na avaliação de

uma interferência, através de sua própria crença. O fato é que os EACs surgem para
qualificar a avaliação, na capacidade de refutar intervenções, afim de evitar erros. Nesse
argumento, o exemplo citado, refere-se ao caso de aplicação de um experimento aleatório
na medicina: por muitas décadas utilizavam-se injeções de esteroides para lesões graves
na cabeça, afim de reduzirem o inchaço, e consequentemente “despressionar” o cérebro.
O fato é que, para muitos, essa interferência era eficaz, uma vez que os esteroides
reduzem de fato o inchaço, porém, mostrou-se na pesquisa do experimento aleatório que
esse tratamento havia matado muitas pessoas. Esses resultados contribuíram para
identificar os problemas de uma intervenção aplicada há anos, e que foi suspensa depois
da EAC.

Outra crítica aos EAC’s é o seu custo. Porém defende-se que esse valor depende de seu
planejamento. Se por exemplo, o programa já existe, e sua avaliação será baseada nos
dados contidos em seu monitoramento, se é necessário que implante um novo sistema de
coleta de dados, se haverá recursos adicionais. Porém o maior argumento se dá ao fato
de que essa avaliação pode identificar se um programa é dispendioso, ou se é excelente,
e deve ser expandido. Os resultados da avalição poderão fazer com que os gastos futuros
sejam condicionados da melhor forma.

A terceira critica refere-se a sentido da falta de ética em condicionar parte das pessoas a
não receberem o tratamento estudado. O fato é que as vezes as intervenções
consideradas eficazes se mostraram ineficazes ou até mesmo prejudiciais, logo, o que
esta sendo estudado não é a aplicação dos EACs para testar serviços comprovadamente
benéficos, até porque isso não faria sentido, mas sim para comprovar a
eficácia de uma intervenção ou identificar seus problemas. Às vezes, não oferecer um
tratamento é melhor que oferecê-lo. A quarta critica argumenta sobre sua complexidade e
difícil realização. O fato é que qualquer outra forma de avaliação exige especialização,
assim como os EACs.

Nesse sentido, no que refere-se a aplicação dos EAC’s é importante detalha-lo e

identificar os passos para ser executado. A abordagem “testar, aprender, adaptar”,
associa-se a aplicação dessa avalição, e por tanto seus mecanismos de execução são
baseados nesses pontos. No mecanismo de “testar”, tem-se uma intervenção, e a
aplicação de medidas que possibilitam avaliar sua eficiência. No que se refere a
“aprender”, sua consistência se dá em analisar o resultado da intervenção, e determinar
os seus efeitos, a fim de estabelecer uma boa relação custo benefício. No processo de
“adaptação”, seria a modificação da intervenção, caso se julgue necessário.

No que cabe ao método de testar, os itens de execução são:

a) identificar duas ou mais intervenções para comparar, b) determinar o resultado

que a política pretende influenciar e como será mensurado no experimento, c)
decidir sobre a unidade de randomização: se randomizar a intervenção e os
grupos de controle no nível de indivíduos, instituições (por exemplo, escolas) ou
áreas geográficas (por exemplo, autoridades locais); d) determinar quantas
unidades (pessoas, instituições ou áreas) são necessárias para obter resultados
robustos; e) atribuir cada unidade a uma das intervenções, utilizando um método
de randomização robusto; f) aplicar as intervenções nos grupos escolhidos.
(HAYNES, SERVICE, GOLDACRE, TORGERSON, 2013).
No que cabe a identificação das intervenções, refere-se a um bom ponto de partida, logo
após, é necessário definir quais os resultados que se buscam, e como serão mensurados;
após decidir como o resultado será mensurado, é necessário decidir quem ou o que será
randomizado, ou seja, em que será aplicado o experimento, ao fim do experimento, os
resultados podem ser medidos individualmente ou para toda a unidade de randomização.

Posteriormente, a quantidade de unidades necessárias para obter resultados deve ser

decidida, ou seja, determinar o tamanho da amostra, esse passo depende da escolha do
que será randomizado (indivíduos, ou instituições).

O quinto passo, é o que determina a superioridade desse tipo de avaliação, que é alocar
as unidades de tratamento aleatoriamente, sendo os indivíduos parecidos. Após esse
momento, se tem a introdução das intervenções nos grupos escolhidos, e mensuração
dos resultados. Nesse sexto passo, é importante que os indivíduos sejam introduzidos na
forma na qual foi originalmente planejado, além de ser necessário um bom método de
monitoramento.

Em todos os passos é de extrema importância que se garanta a reprodução fiel da política

que será introduzida quando e se essa for aplicada.

Em aprender, compreende a mensuração dos resultados e determinação das

intervenções. Geralmente aplica-se esse modelo de avaliação quando está em dúvida
entre duas práticas, e por tanto realiza-se a comparação entre elas;

E na adaptação, tem-se ao fato pratico da adaptação da política, conforme suas

contestações, e voltar ao primeiro passo para melhorar a compreensão.

REFERÊNCIAS

Laura Haynes, Owain Service, Ben Goldacre e David Torgerson.

TESTAR, APRENDER, ADAPTAR: DESENVOLVER AS POLÍTICAS PÚBLICAS

MEDIANTE EXPERIMENTOS ALEATÓRIOS CONTROLADOS. Planejamento e políticas
públicas | ppp | n. 41 | jul./dez. 2013