Álvaro Machado Dias (/colunas/alvaro-machado-dias/)

Neurocientista, professor livre-docente da Unifesp (Universidade Federal de São Paulo) e

sócio do Instituto Locomotiva e da WeMind

SEGUIR

Por que algoritmos decisórios falham

Entraves metodológicos estão se tornando cada vez menos críticos, mas questões não
técnicas vão ficando pelo caminho

15.jan.2023 às 8h00

Algoritmos decisórios estão por toda parte. Em aplicativos de viagens e outros,

típicos da economia compartilhada, estipulam preços dinamicamente
(https://www.vaimo.com/dynamic-pricing-in-ecommerce-how-it-works/); nas concessões de crédito,

definem os montantes (https://www.scipedia.com/public/Fenerich_et_al_2020a) a serem

emprestados; nos hospitais, fazem recomendações
(https://www1.folha.uol.com.br/equilibrioesaude/2022/12/inteligencia-artificial-ajuda-a-evitar-mortes-segundo-hospitais.shtml)

a partir de projeções sobre tempo de internação e prognóstico. E assim por

diante.

As decisões que preconizam podem ocorrer de maneira totalmente

automatizada, como no primeiro caso, com automação parcial, aliada a alçadas,
como no segundo; ou de maneira manual, a partir dos inputs fornecidos pelo
software, como no terceiro. Em todos, o aprendizado de máquina —IA sem
interface física— é usado para aumentar a precisão e para reduzir o tempo e o
custo dos processos deliberativos.

Algoritmos são usados para otimizar a produção nas indústrias - Danilo Verpa/Folhapress

Os programas inteligentes possuem dois funcionamentos básicos: pingue-

pongue com a realidade exterior, como no caso da precificação no
(https://www1.folha.uol.com.br/mercado/2021/09/passageiros-reclamam-de-aumento-no-preco-das-corridas-da-

uber.shtml)Uber (https://www1.folha.uol.com.br/mercado/2021/09/passageiros-reclamam-de-aumento-no-preco-das-

corridas-da-uber.shtml) e das recomendações automáticas da

(https://www1.folha.uol.com.br/ilustrada/2021/04/no-streaming-algoritmos-se-tornam-curadores-e-pautam-producao-cultural-

online.shtml)Netflix (https://www1.folha.uol.com.br/ilustrada/2021/04/no-streaming-algoritmos-se-tornam-curadores-e-

pautam-producao-cultural-online.shtml),
ou estacionário, como era o caso para esta última até
há pouco e ainda tende a ser para as análises de crédito, processadas uma só
vez, após a checagem de documentos.

Algoritmos decisórios diferem dos que equipam videogames e afins. Ainda que
a jogabilidade surja de uma sequência de tomadas de decisão, as deliberações
processadas neste contexto tendem a ser menos definitivas para o desfecho da
interação do que em sistemas de recomendação de preços e outros, os quais
são costumeiramente empacotados em experiências
(https://www1.folha.uol.com.br/mpme/2018/12/imitar-mundo-dos-games-e-forma-simples-para-empreendedor-fidelizar-

cliente.shtml)gamificadas (https://www1.folha.uol.com.br/mpme/2018/12/imitar-mundo-dos-games-e-forma-simples-

para-empreendedor-fidelizar-cliente.shtml), confundindo alguns sobre a sua natureza e

propósito. Por outro lado, a sincronização comportamental e o engajamento
são mais importantes em apps de jogos (https://www1.folha.uol.com.br/folha-topicos/games/).

Esta distinção vem se tornando cada vez menor, sendo provável que IAs
multifuncionais, embebidas em plataformas que se transformam pelo uso,
acabem por eliminá-la. Isto irá representar a fusão definitiva das experiências
lúdicas com as de consumo, das de jogo com as de trabalho e outras mais. No
momento, a distinção se mantém e baliza o fato de que algoritmos decisórios
são os mais importantes existentes, pois determinam quem vê o quê, consegue
um emprego, recebe um diagnóstico e, em alguns casos, é mandado para a
prisão ou livrado dela.

Criar IAs é diferente de criar programas tradicionais. A noção de que as

instruções sobre como proceder devem ser rigorosamente explicitadas no
código-fonte dá lugar a adaptações a novos inputs. Aqui, a principal premissa
conceitual é que futuros individuais replicam passados autobiográficos, o que
de fato está alinhado a evidências observacionais. Já o quadro constituído é
bem menos clarividente, passando batido pela constatação de que esses
futurólogos trabalham em cima de teses particulares sobre a geração de
inferências e construção da realidade. Como assinalou (https://www.amazon.com.br/Weapons-
Math-Destruction-Increases-Inequality/dp/0553418831/ref=sr_1_2?

qid=1672167080&amp&refinements=p_27%3ACathy+O%27Neil&amp&s=books&amp&sr=1-2) Cathy O’Neil,

"algoritmos são opiniões diluídas em fórmulas".

Estas fórmulas definem aquilo que deve ser decidido, os fatores utilizados na
seleção de opções, a abordagem matemática responsável pela conversão destas
em comportamento deliberativo e aquilo que se espera que aconteça na
realização em ato do que foi deliberado. Quando estas coisas são mal
concebidas, as decisões se tornam perigosamente ruins.
"Supreendentemente, o nível esperado de precisão algorítmica e de
competência para recomendações vem sendo amplamente negligenciado na
pesquisa e no debate público", dizem pesquisadores do Instituto Max Plank.
Este é um problema que merece atenção total. No entanto, as tentativas de
abordá-lo têm sido pouco frutíferas, sobretudo em função de dificuldades de
sistematização. Eu já escrevi diversos artigos sobre isso. Aqui vai a minha
síntese mais recente.

UMA SÍNTESE DOS REVESES ENVOLVENDO ALGORITMOS DECISÓRIOS

BASEADOS EM IA

Em 2014, um programa de seleção profissional com IA da

(https://www1.folha.uol.com.br/tec/2018/10/amazon-desiste-de-ferramenta-de-recrutamento-que-penalizava-

mulheres.shtml)Amazon (https://www1.folha.uol.com.br/tec/2018/10/amazon-desiste-de-ferramenta-de-recrutamento-

mostrou-se enviesado contra as mulheres. Em 2015, foi

que-penalizava-mulheres.shtml)

lançado o módulo de reconhecimento de imagens do

(https://www1.folha.uol.com.br/tec/2019/10/fotos-dos-seus-filhos-estao-alimentando-a-tecnologia-de-

vigilancia.shtml)Flickr (https://www1.folha.uol.com.br/tec/2019/10/fotos-dos-seus-filhos-estao-alimentando-a-tecnologia-

de-vigilancia.shtml),
que identificava pessoas como macacos. Em 2016, a ProPublica
publicou uma longa reportagem sobre os vieses raciais do software jurídico
(https://www1.folha.uol.com.br/seminariosfolha/2022/03/uso-de-tecnologia-no-mundo-juridico-se-amplia-mas-exige-regulacao-

Compas, que faz recomendações sobre magnitude de pena e

e-debate.shtml)

progressão de regime. Já em 2017 e 2018 pipocaram as primeiras ações contra o

Facebook por vieses em anúncios, determinados pelos próprios clientes,
através do targetting. Em 2019, Nijeers Park foi encarcerado por agressão, com
base em um reconhecimento facial errado. Comemorado o Réveillon, foi a vez
de um sujeito chamado Robert Borchat ser preso, com base no mesmo erro. Os
anos de 2021 e 2022 foram palco para a exposição dos tropeços metodológicos
de algoritmos usados no combate à Covid-19
(https://www1.folha.uol.com.br/equilibrioesaude/2022/01/cidade-de-sp-registra-700-mil-casos-de-covid-a-mais-do-que-o-

estado-aponta-para-capital.shtml). E 2023 não perde por esperar.

Existe uma explicação costumeira para a incompetência algorítmica: dados

enviesados são usados para treinar a IA, como em todos os casos acima. Esta é
válida em várias situações, porém, não em todas. Aliás, uma das travas atuais é
a crença generalizada na tese de que, solucionando os reveses causados por
dados comprometidos, não mais teremos problemas com os algoritmos
decisórios. Adoraria que isso fosse verdade, até porque o combate a estes vieses
vem tendo cada vez mais sucesso, mas, não é o caso.

Vale notar que a praxe nos países democráticos, hoje em dia, é omitir critérios
de raça nos mais variados cenários algorítmicos, pelo simples fato de que quem
faz isso tem boas chances de sofrer um processo. Sem amor, foi na dor que
lições básicas foram aprendidas.

O desafio metodológico que mais tem mobilizado o campo envolve a relação

entre o número de dimensões usadas por um algoritmo e a quantidade de
amostras necessárias para que os padrões emergentes tornem-se confiáveis, o
qual corre à boca pequena sob o apelido de maldição da
dimensionalidade. Este foi um ano de avanços (https://www.nature.com/articles/s43588-021-00182-
0) no seu tratamento, tal como 2019-2021 foram no da seleção do modelo

matemático ideal, resolvido por uma técnica chamada AutoML, que usa a IA
para modelar a si mesma —em 2022, 100% dos algoritmos da WeMind foram
feitos assim. Ano que vem, a expectativa é que mais lacunas sejam preenchidas,
como sempre.

O ponto a se ter em mente é que os entraves metodológicos estão se tornando

cada vez menos críticos para o bom funcionamento dos algoritmos decisórios,
enquanto os não técnicos, conceitualmente simples, mas de resolução muito
mais complexa, vão ficando pelo caminho. Minha visão é que existem dois tipos
principais de desafios nesta categoria: iterações distópicas e reducionismo
hipotético. Ignorá-los pode ter consequências nefastas.
Mulher testa tecnologia 3D de inteligência artificial na feira anual de tecnologia CES (Consumer
Electronics Show), em Las Vegas - Zeng Hui/Xinhua

ITERAÇÕES DISTÓPICAS

Voltemos ao exemplo do Compas, o software jurídico concebido para otimizar

o estabelecimento de sentenças e a concessão de progressão de regime. Como o
grande propósito social (mas não moral) da restrição de liberdade é a evitação
de novos crimes, o programa usa o reencarceramento como proxy para suas
deliberações; ou seja, assume que não deve mandar para casa quem tem chance
de reincidir e vice e versa.

A recomendação de sentenciamento é estacionária, mas é inteiramente

baseada em casos reais. A lógica é a seguinte: um histórico de fichas criminais é
juntado e manualmente classificado em "reincidentes" e "não reincidentes".
Este conjunto é lido algoritmicamente, em etapas, o que permite ao software
encontrar as dimensões que se correlacionam à reincidência e lhes atribuir
pesos concernentes, usando um procedimento derivado da ancestral regressão
logística.
As tendências que valem para este grupo inicial passam a ser utilizadas como
referência para os casos novos, que o software situa no contínuo reincidente
provável/improvável, pela atribuição de um escore de risco. Conforme o tempo
passa, torna-se possível saber se quem foi objeto de uma recomendação
automática de progressão de regime, ou recebeu uma pena branda e reincidiu,
junto com todos os outros desfechos.

Este conhecimento é usado em rotinas periódicas de retreinamento da solução,

as quais vão aumentando a sua precisão. Anos de chumbo grosso levaram à
eliminação de critérios como "raça" das fichas lidas pela IA. Ainda assim,
estudos periódicos são feitos para avaliar se a dosimetria mantém-se coerente
para negros, jovens, pobres ou homens, tendo por base o que se observa nas
cadeias. O que pode dar errado?

Especialistas em laboratório do Incor (Instituto do Coração do Hospital das Clínicas de SP), que
usa IA para melhorar o diagnóstico do AVC - Keiny Andrade/Folhapress
Se você olhar do ponto de vista da preservação do status quo, nada ou quase
nada. Porém, se você considerar a questão pelo ângulo do comprometimento
que cada geração deve ter com a próxima, irá notar que o algoritmo contribui
para a cristalização de desequilíbrios e externalidades, quando o ideal seria que
atuasse alinhado às forças da transformação.

Como acredito que um dos maiores compromissos morais que devemos ter é
com as próximas gerações, vejo um problema, que chamo de iteração distopia
(https://www1.folha.uol.com.br/ilustrada/2022/05/imperio-das-big-techs-vai-da-distopia-ao-ridiculo-como-assunto-de-

literatura-quente.shtml),
ou "camisa de força temporal". Iteração distópica é a prática
emergente quando o futuro é reificado pelas decisões algorítmicas, a despeito
destas atingirem seus objetivos, caso a caso. Sob a sua batuta, a história é
concebida como se fosse uma reta, sem surpresas ou chances de
transformação, enquanto o espaço para as sutilezas decisórias que separam os
bons julgadores dos medianos é eliminado em prol da redução da variância
decisória.

Esta modalidade de enrijecimento também se manifesta em contextos que

pouco têm a ver com desigualdade, como quando uma aplicação médica
(https://www1.folha.uol.com.br/colunas/julioabramczyk/2022/04/a-inteligencia-artificial-na-medicina.shtml) passa a

recomendar que uma quantidade imensa de pacientes faça biópsias, dado que
isso de fato ajuda na detecção precoce do câncer
(https://www1.folha.uol.com.br/seminariosfolha/2018/09/inteligencia-artificial-e-promessa-de-tratamentos-de-cancer-mais-

assertivos.shtml). Não se trata de mero "desalinhamento de interesses", como alguns

dizem.

Algoritmos bem desenhados e bem mantidos tendem a atingir objetivos

adequadamente definidos, em consonância com os interesses por trás de sua
implementação. A questão é que os impactos dos processos decisórios
difundem-se por relações não lineares, produzindo consequências negativas
em esferas distantes das situações diretamente algoritmizadas.

No meu entendimento, algoritmos decisórios devem estar aptos a responder

em ato à seguinte indagação: que tipo de futuro a gente está construindo? Se
nenhuma resposta permear seu conjunto de existência, o programa deverá ser
redesenhado. É simples assim —difícil é o como. Sigo esperançoso, até porque a
contrapartida disponível, representada pelas tomadas de decisão
idiossincráticas, comumente decepciona.

REDUCIONISMO HIPOTÉTICO

Possivelmente, a mais marcante transformação psicológica deste século é a

algoritmização do pensamento: algoritmos implementados digitalmente
aprendem na interação conosco e nós aprendemos com eles, com a ressalva de
que aprendizado não é algo por si só bom ou ruim, mas um fenômeno que
acontece em organismos e máquinas que se transformam para manifestar
comportamentos ou entendimentos que até então lhe eram estranhos.
Traumas, por exemplo, são aprendizados, enquanto o estresse pós-traumático
é uma de suas interpretações.

Hoje aprendemos a passar rasgando por todo tipo de conteúdo, o que faz
sentido ao se navegar ambientes ruidosos, como são as redes sociais, mas não
faz no escrutínio de questões profundas. No entanto, é exatamente o que
acontece.

Creio que uma das dimensões mais importantes da algoritmização do

pensamento seja o reducionismo hipotético, que é o declínio do hábito de criar
hipóteses, aliado à crença cada vez mais cega nos direcionamentos decisórios
providos automaticamente. Como comportamento e funcionamento do
cérebro são duas faces da mesma moeda, um ciclo poderoso é criado.

Por exemplo, em 2000, um famoso estudo com motoristas de táxi ingleses

mostrou que percorrer as ruas da cidade labiríntica leva a um aumento do
hipocampo, área ligada à memória. O mesmo estudo, replicado em 2017,
revelou que o uso do Waze e afins, que transferem as microdecisões típicas da
profissão para apps, revertem este efeito.

O princípio aplica-se também às automações decisórias em empresas, hospitais

e afins, as quais têm mudado as atuações profissionais e, portanto, os processos
mentais que lhes subsidiam. Entre outras coisas, estes estão sendo cada vez
mais talhados pela previsibilidade, em detrimento do acaso, muito mais
comum na realidade analógica do que nos ecossistemas digitais.
O grau de conversão em rigidez comportamental desta tendência aguarda
mapeamento, enquanto, mais amplamente, vai se tornando claro que as
decisões humanas estão sendo eclipsadas pelos seus duplos digitais, com
efeitos no cérebro e nos processos conexos de construção da realidade.

Para quem acha isso tudo absolutamente nefasto, recomendo: desinstale o

Waze, não acalme as crianças chorosas com vídeos, dispense as automações
decisórias no trabalho e faça tudo na mão. Não, é claro. O debate importante
não é sobre a aceitação da algoritmização decisória, mas sobre como proceder,
enquanto sociedade e indivíduos, para mitigar suas consequências negativas.
Vai pensando nisso que, em breve, a gente retoma, com foco nas sugestões
reparadoras de maior potencial.

sua assinatura pode valer ainda mais

Você já conhece as vantagens de ser assinante da Folha? Além de ter
acesso a reportagens e colunas, você conta com newsletters exclusivas
(conheça aqui (https://login.folha.com.br/newsletter)). Também pode baixar nosso
aplicativo gratuito na Apple Store (https://apps.apple.com/br/app/folha-de-s-paulo/id943058711?
utm_source=materia&utm_medium=textofinal&utm_campaign=appletextocurto) ou na Google Play

(https://play.google.com/store/apps/details?

id=br.com.folha.app&hl=pt_BR&utm_source=materia&utm_medium=textofinal&utm_campaign=androidtextocurto)

para receber alertas das principais notícias do dia. A sua assinatura nos
ajuda a fazer um jornalismo independente e de qualidade. Obrigado!

ENDEREÇO DA PÁGINA

https://www1.folha.uol.com.br/colunas/alvaro-machado-dias/2023/01/por-que-
algoritmos-decisorios-falham.shtml

notícias da folha no seu email

Recomendadas para você

(https://www1.folha.uol.com.br/colunas/painel/2022/11/carla-zambelli-participa-de-resistencia-civil-em-miami.shtml)

COLUNAS E BLOGS
Painel: Carla Zambelli participa de 'resistência civil' em Miami

(https://www1.folha.uol.com.br/colunas/painel/2022/11/carla-zambelli-participa-de-resistencia-civil-em-miami.shtml)

(https://www1.folha.uol.com.br/colunas/ruycastro/2022/11/com-erasmo-carlos-para-playboy.shtml)

COLUNAS E BLOGS
Opinião - Ruy Castro: Com Erasmo Carlos para Playboy

(https://www1.folha.uol.com.br/colunas/ruycastro/2022/11/com-erasmo-carlos-para-playboy.shtml)

(https://estudio.folha.uol.com.br/unico/2022/06/id-digital-garante-maior-confianca-nas-transacoes-pela-internet.shtml?

utm_source=taboola&utm_medium=native&tblci=GiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDK81Qo37Ca_eTPyImEAQ#tblciGiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDK81Qo37Ca_eT

ESTÚDIO FOLHA
ID digital garante maior confiança nas transações pela internet

(https://estudio.folha.uol.com.br/unico/2022/06/id-digital-garante-maior-confianca-nas-transacoes-pela-internet.shtml?

utm_source=taboola&utm_medium=native&tblci=GiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDK81Qo37Ca_eTPyImEAQ#tblciGiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDK81Qo37Ca_eT

(https://f5.folha.uol.com.br/celebridades/2023/01/apos-vigilia-em-quartel-victor-fasano-posta-foto-da-porta-de-alexandre-de-moraes-arrancada.shtml?

utm_source=taboola&utm_medium=exchange&tblci=GiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDJ81QopOvW9aC3y62qAQ#tblciGiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDJ81QopOvW

F5
Após vigília em quartel, Victor Fasano posta foto da porta de Alexandre de Moraes
arrancada

(https://f5.folha.uol.com.br/celebridades/2023/01/apos-vigilia-em-quartel-victor-fasano-posta-foto-da-porta-de-alexandre-de-moraes-arrancada.shtml?

utm_source=taboola&utm_medium=exchange&tblci=GiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDJ81QopOvW9aC3y62qAQ#tblciGiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDJ81QopOvW

(https://www1.folha.uol.com.br/blogs/frederico-vasconcelos/2023/01/persistem-resistencias-ao-governador-bolsonarista-em-sp.shtml?

utm_source=taboola&utm_medium=exchange&tblci=GiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDJ81Qo9q303J-hvrcT#tblciGiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDJ81Qo9q303J-

hvrcT)

FOLHA DE S.PAULO
Persistem resistências ao governador bolsonarista em SP
(https://www1.folha.uol.com.br/blogs/frederico-vasconcelos/2023/01/persistem-resistencias-ao-governador-bolsonarista-em-sp.shtml?

utm_source=taboola&utm_medium=exchange&tblci=GiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDJ81Qo9q303J-hvrcT#tblciGiDNEeTyzzWRQP3iKIHT8Y3PpREXc3di8a7zadGUxZbPFSDJ81Qo9q303J-

hvrcT)