= Cristiano Colombo Wilson Engelmann José Luiz de Moura Faleiros Junior COORDENADORES Prefacio de Danilo Doneda TUTELAJURIDICA D0 CORPO ELETRONICO Novos Desafios ao Direito Digital Acviano Martcleto Gedinho + Aesandre Ubério as Perelea + Alexandre Perea Banna + Alexand+e Quaresma + Ans Fraado = Avitesso de Brito Bonitseo » Angela Kretschmann + Aur Pinnero Basan Bruno Torquate de Diners [Neves = Carlos de Cores Melguera » Charles EmmarislParehen = Cristiano €elombe = Daniela copect Crave Govnce rte Marcon » Oebora Gosre » Oudio Landell de Moura Bernl « Eugirio Facchin! Neto sFobone Meni Gane, ‘Sermano Alves *Feipa da Vig Das + Fernanda Sthaefer Frederico Gilt» Gabriels Sams Malet «coma Pongal SGieaera Tindade Clemente + Giberme Damasio Goulart Gulherme Mogaties Martine» Gustave Shears Berees LNbide narla Huptfer = Hevique Aves Pinto «Inés Fernandes Godino = lun Belesina ose Aoaeare ohn gees “Guimardes + ost luko Fernandez Rodrigues» Jose Lulz de Moura Faleres Janior «Juliane Atrnann Beewig.s eon ftranda Emesto + Leonardo Sehiling + Locos de Sues Gomes + Lucara Dadalto = Mafads Nicanco Barbora «hoe Barbosa de Seusa + Maia Ge Fatima Frere de SS» Marana Ferrera Pigualnede « Nebon Resemvald cece Canrences Pacva Danelura Quinelate» afacla Nogaroll » Raquel Von Mahendort = Rober) Sealalls cine becceus on eo Ethetano Bruno Sonos Diving + Ta Fernanda Blauth «Tlta Bruna Canale » Tasia -Gervaseal «Wilson Eagetmrann @F6CoJULGAMENTOS ALGORITMICOs: ANECESSIDADE DE ASSEGURARMOS AS PREOCUPACOES ETICAS EO DEVIDO PROCESSO LEGAL Ana Fra AAdvogal © Professora Associada de Direito Cl, Come bog Rotacon s mercial Fcondco da Uni Sumirio: 1. Consieraces iniciais ~ 2, Compreendendo os julgamentosalgortmicos. seus impactos avid dos cidados, na sociedad e na politica ~ 3. Primeira ellexao para que finales deveen set amid os ulgamentos algoritmicos? 4, Segunda rellexio: como assegura qua linguagem mate tna sea ulizada ce forma curnulativae conveegentecomanecessiriadincussa0 solytvalons! ‘rca eflex3o: como superaro hiato entre quem programa equemexecuta os sistemas alot ox? {6,Quanarellexio: comoassegurar odevide processodigiall-7.Consieragbestinas. 8 Referencias 1, CONSIDERACOES INICIAIS Himuito que ossistemasalgoritmicos vém fazendoimportantesjulgamentossobre csindividuos que trazem impactos diretos em suas vidas: quem sera ownaoatropelado porum carro auténomo, quem sera contratado, promovido ou demitido, quem tera xesoadeterminados bens e por qual preco, quem terdiacessoadeterminados servicos, como crédito e seguro, e mediante que condicdes, dentre intimeros outras questoes. Nao obstante, pouco sesabea respeito de tais julgamentosalgoritmicos,emrazao tasua opacidade, complexidade e da protecao do segredo de negocios. Acresce que ticonsideraveis evidencias de que diversas das preocupacées éticas ¢ juridicas que tvetiam estar presentes no desenho ¢ na execucao de tais sistemas simplesmente Motém sido observadas. Enesse contexto que o presente artigo pretende oferecer uma compreensao da "percussio de taisjulgamentos sobre a vida das pessoas e da propria sociedade, bem ‘mo, partir do referido diagnéstico, propor algumas reflexdes para que se possa Cnciliar as eficiencias e a acuracia que tais julgamentos almejam com a protecdo direitos fundamentais dos titulares de dados e com a necessiria consideracdo * estdes éticas mais importantes para o mencionado debate. TMICOS E SEUS COMP! GORI F 'REENDENDO OS JULGAMENTOS Al DADEENA POLITICA MPACTOS NA VIDA DOS CIDADAOS, NASOCIE de tarefas, solucdes de pro- Algori 5 40 Ang titmos so formulas ou receitas para execucto de AN A itmos “S Tealizacoes de julgamentos e tomadas de deciso580 ANARAZAO, existem ha muito tempo, embora somente a partir do século XX tenham passado ser vistos no ambito da ciencia da computacao como sequencias finitas de acoes executiveis para a solucao de um problema especifico. A controversia mais atual diz respeito a utilizacao de algoritmos cada vez mais, complexos e sofisticados para a solucao de problemas que nao sio objetivos e téc- nicos. Alimentados por bases de dados cada vez maiores, no atual contexto do big data, osalgoritmos tem sido utilizados para decis6es e tarefas que envolvem analises qualitativas e subjetivasa respeito dosseres humanos, comumente marcadas poralta carga valorativa, tal como acontece nos julgamentos para classificacio, ranqueamento ec criacdo de perfis das pessoas. Mais do que isso, os algoritmos tem sido vistos como chaves para se com- preender o pasado, se diagnosticar o presente ¢ se antever o futuro, por meio de prognésticos ¢ analises preditivas a respeito das pessoas, tanto individual como coletivamente. E por essa razdo que os dados do passado e do presente sao cada vez mais es- quadrinhados por sistemasalgoritmicos que pretendemavaliaras pessoas. partirde critérios objetivos ou determinadas métricas, com distintos graus de abrangencia: a avaliacdo dos usuarios em um determinado aplicativo, a avaliacao das pessoas para mapear a possibilidade ¢ as condigoes de acesso a determinado servico — como € 0 caso do credit scoring —e até mesmo tentativas holisticas de se classificar as pessoas no seu todo, como ocorre com o conceit de social scoring que vem sendo utilizado pelo governo chines para avaliar a qualidade dos seus cidadaos. Sob essa perspectiva, 05 sistemas algoritmicos tém sido peca fundamental para ‘manter uma engrenagem que tem por finalidade fazer julgamentos e predigdessobre as pessoas no tocante as stias mais diversas caracteristicas: seus méritos, seus perfs, suas preferéncias, stuas inclinac6es, propensées e probabilidades nas mais variadas searas — desde a propensio ao consumo de determinado produto até a propensio a delinquir ou a reincidir na pratica de um crime ~, suas capacidades e aptidoes m0 campo lisico, intelectual, emocional, profissional, econdmico, etc evulnerabilidades estas fraquezas Obviamente que tais julgamentos nao sao inocentes, uma vez que sao imple- mentados com escopos muito definidos. No ambito do mercado, tais diagnosticos permitem aos agentes econdmicos diversas possibilidades de agao, inclusive no que diz respeito a diferenciar consumidores, seja para cobrar distintos precos ~ confor me determinados critérios ou a propensio de cada um para adquirir um produto ou servico ou mesmo explorando suas vulnerabilidacles ~ seja para negar acess0 4 determinados servigos ou condicoes especificas Ocorre que a questdo ndo se restringe ao mercado, embora este aspecto, Por si s0, ja seja bastante preocupante, Envolve igualmente importantes dimensocs t autonomia privada dos cidadaos, na medida em que hoje ha sistemas algoritii que decidem quem ingressara em universidades ou tera acesso.a empregos, cargos’JULGAMENTOS AIGORITMICOS 581 nidades profissionais, dentre intimeras outras situacdes nas quais as expec- ort oporitije vida das pessoas passam a depender de tais julgamentos. ativas Em alguns casos, é a propria vida humana que estara no objeto da decisao al- oxitmica, tal Como OCorTe COM OS Carros autOnomos que, em situagdes ExtreMas, wlerdo ter que decidir que vidas devem ser poupadas ou priorizadas diante da Jpinencia de um acidente. Damesma maneira, o problema adentra também naseara da autonomia publica edademocracia, quando o Estado também pode se servir de sistemas algoritmicos para, por exemplo, classificar cidaclaos de acordo com suas conviecdes politicas €0 Feugrau de apoio ou nao a determinado governo, o que pode ser wtilizado para toda sorte de discriminacoes e perseguigdes. Na verdade, ao se tratar da questao democratica, realca-se também um tema importante, que diz respeito a utilizacao de sistemas algoritmicos para fins politi- tos,a fim de explorar o conhecimento que tém das pessoas, inclusive no que diz respeito as suas fragilidades, para manipula-las com objetivo de alterar o resultado deprocessos cleitorais, Esse ponto mostra que a discussio sobre os algoritmos deve partir da premissa deque o problema, na atualidade, nao ¢ reflexo apenas de uma economia movida a dados, mas sim de uma sociedade e de uma politica que também passarama ser mo- vidas dados, de forma que o futuro das pessoas e das proprias cdemocracias podem estar atrelados a julgamentos algoritmicos. Talaspecto ¢intensificado em razdo do fendmeno quealgunsestudiosos chamam de datificacdo, o que permite que toda e qualquer experiéncia humana se torne um dado a partir do qual se podem inferir aspectos importantes sobre as pessoas. Mesmo experiéncias inocentes, como um passeio no parque, podemalimentar sistemas que tentarao classificar as pessoas ¢ fazer predigdes sobre elas a partir dos dadosassim gerados, interpretadosisolada ou conjuntamente. Odocumento clabora- dopela Apple A Day in the Life of Your Data: A Father-Daughter Day atthe Playground! sjudaa entender a dimensao da datificacdo com base em um despretensioso dia de er entre pai e filha aes sentido, fatos que podem parecer irrel Sho gelocalizacao, buscas na imernet, tempo apg terminadas questoes, misicase locais desua ree iradese depois convertidos em novos dados, a P Seus julgamentos. levantes parao cidadao comum, tais gasto em redes sociais, “curtidas” sua preferéncia, dentre outros, 40 dos quais 0s algoritmos 1 the Playground hupsAvwwapple.conv Daughter Day a ont 20.09.2021 APPLE AD PLE. Day in the Life of Your Dau: A Fath Prsaeydoes/A_Day_in_the_Life_of_Your_Data.pdl Acoso e™582. ANAFRAZAO - Caminhamos, portanto, para uma sociedade da classificacdo, como ditiaStefany Rodota?, ou para um cendrio em queos perfisse transformamem verdadeirasrepresenta. oes Virtuais, corpos digitais ou mesmo sombras das pessoas, como diz Danilo Doned,’ Como bem sintetiza John Cheney-Lippold, os algoritmos hoje agregam ¢ controlam nossas identidades datificadas (datafied selves) e nossos “futuros algorit. micos”, pois o processo de classificacdio em si ja ¢ uma importante demarcacio de poder, assim como a organizacao do conhecimento e da vida molda as condigdes ¢ as possibilidades daqueles que serao clasificados. Afinal, so as categorias para as quais nossas vidas datificadas serao convertidas qne passaraoa definirnaoapenas quem somos, mas também quem seremos, namedida em que os dados, 20 mesmo tempo em que nos representam, tambem nos regula! 3. PRIMEIRA REFLEXAO: PARA QUE FINALIDADES DEVEM SER ADMITIDOS OS JULGAMENTOS ALGORITMICOS? As reflexdes mencionadas na secao anterior, ao mesmo tempo em que nos mostram a crescente importancia dos julgamentos algoritmicos na atualidade, nos levam tambéma uma primeira indagagao: diante do manancial do big data, ¢ possivel utilizar algoritmos para todo e qualquer tipo de julgamento? Basta que tim agente econdmico ou o Estado queiram julgar seus consumidores ou cidados para que possam faze-lo? Ou ha limites para tais julgamentos, como € o caso do principio da finalidade previsto pela LGPD? Nos temposatuais, jnnosacostumamos de tal maneira a tais julgamentosalg> ritmicos que nem sempre refletimos sobre questoes que deveriam ser basicas: ut plataforma tem o direito de julgar 0 consumidor e lhe atribuir uma nota? 0 Estado tem 0 direito de julgar seus cidadaos com base em suas preferéncias politicas 0" qualquer outro dado sensivel? Com base em que critérios agentes econdmicos P™ dem criar perfis de consumidores? E possivel fazer julgamentos abrangentes 00" os cidadaos, de forma similar a um modelo de social scoring? Em outras palavras,a questaoaser respondida ¢: pode-se utilizar ig data submeter seres humanosa qualquer tipode julgamento? Quais sao oscriterios ee" ¢ juridicos paradelimitarmosos julgamentos que sao legitimosdaquelesque tio ofa No seu livro Privacy is power Why and how you should take back control of ae data*, Carissa Véliz faz uma interessante contextualizacao da discussao, a0 ress" 2 RODOTA, Stefano. vida na soviedateda vigildncia. A privacidade hoje. Traduciiode Danilo Dons E Gabel epedacy 008, p. 111-138. . parite Da privacidade a protecao de das pssoais, Rio: Renovar, 2008, p- 174-179 yk 4. CHENEY-LIPPOLD, John. Wearedata Algorithnsunddl es. New Yorks N° Univerty Pres S01) Neame data. Algorithms andthe making of our digital eos Idem, p. 14-19, nh 5 6. VELIZ, Carissa. Privacy is power Wh ness ae power Why and how you shoutdeake hack contr of yourdata. Banta!MIGAMINIOSALGORITMICOS 883 snsaos pers due ee sido utilizados para os mais diversos fins, incluind se eepessoas que foram vitimasde estupro, incesiot outrosabnossentae ones de AIDS ou de doencas sexualmente transmissiveis, homens comi impot | cet) dentre outros. Dai a constatacao da autora de que os tiie aes i ategorizacao aget como verdadeiros predadores, qu sentem 0 ‘cheio de ime garao fim de encontrar e explorar as vulnerabilidades des pessoas ‘lids, a autora chama a atengdo também para a perigosa utilizacdo politica da xploragao de perfis ¢ caracteristicas sensiveis das pessoas, afirmando que Palant ‘amazon. © Microsoft proveram ferramentas que ajudaram a administracao Trump a ‘patcar, monitorar ¢ deportar imigrantes, mesmo no contexto de politicasalta- vente questionaveis, Como as que Separavam as criangas de seus pais’. ais, a | Uma das conclusoes de Carissa Véliz ¢ que alguns julgamentos simplesmente io poderiam ser feitos, tais como os decorrentes de inferéncias sensiveis sub-rep- fcas, entre os quais se incluem diagnosticos que sao feitos a partir de gestos ou comportamentos corriqueiros das pessoas —a forma como usam seus smartphones, conodigitam ou como movimentam seus olhos—mas que permitema identificacao dchabilidades cognitivas, de problemas de satide, como perda de memoria, dislexia, dgressioede informacdes sensiveis, como orientacao sexual, etnia, visdes politicase nligiosas,tracos de personalidade, inteligéncia, felicidade, uso desubstancias vician- ‘ss circunstancias familiares (como a separacao dos pais), dentre intimeras outras* Diante desse contexto, verifica-se que uma das raizes do problema da atual conomia movida a dados encontra-se na premissa equivocada de que todos os jilgmentos sobre seres humanos sao possiveis. Logo, ¢imprescindivel diferenciar, comurgencia, que tipos de perfis, julgamentos e diagndsticos, por qualquer que se} omeio utilizado — incluindo as inferéncias ~ devem ser considerados inadmissiveis Sconsequentemente, proibidos. Entretanto, a realidade tem sido caracterizada pelo grande avanco na utilizacao ‘csistemasalgoritmicos para os mais diversos fins, massem as (cas juridicas que deveriam orientar a sua adoeao. fais os julgamentos algoritmicos lem auxiliar a contornar varias sxistem outros assuntos oUt los ou apenas po- Iwaguardas para devidas consideragoes | Seexistem muitos assuntos em relacdo aos qu: siporantesenecessirios, na meddaem ve PO fésiciencias dos julgamentos humanos, ambem exist Pisitos em relacéo aos quais eles ou nao deveriam ser admmii€ Sons em eunstancias exeepeionaise com umasene det sressados, odem ser coletados ¢ que y isuuee dados fgg Pate razA0 que é fundamental saber a poentretanto, ainda que Ut ad itmic res dem justificar os julgamentos er as, seta tabem set sadaa questo da legitimidade do tratamento de584 ANAIRAZAO emque medida é conveniente eadequado deixar quealgoritmos possam fazerjulgy. mentos valorativos complexos sobre as pessoas, ainda mais sem qualquer controle ou superviséio humana, Esse ponto é de fundamental importancia para a compreensao da controvérsi, Afinal, acreditar na importancia de decisdes algoritmicas nao implica accitar que estas sejam completas ow infaliveis ou que que possam substituir perfeitamente os julgamentos humanos. Talaspecto¢ especialmente rclevante quando estamos utilizandoalgoritmospara julgar, classificar, ranquear seres humanos e predizer scus comportamentos futuros suas habilidades e perspectivas por meio de decisdes que repercutirao diretamente na vida das pessoas. Nesse sentido, hai boas razées para sustentar que, quanto mais complexo for o julgamento algoritmico e quanto mais intenso for 0 sew impacto na vida das pessoas, maior o cuidado que deve ser adotado em relacaoa ele e maioresas dificuldades para que se possa entendé-lo como a palavra tinica ou final. 4, SEGUNDA REFLEXAO: COMO ASSEGURAR QUE A LINGUAGEM MATEMATICA SEJA UTILIZADA DE FORMA CUMULATIVA E CONVERGENTE COM A NECESSARIA DISCUSSAO SOBRE VALORES? Apesar de todas as vantagens das formulas, estas também padecem de varias limitacées, especialmente em razao das dificuldades naturais para se converter as- pectos complexos da natureza humana para critérios objetivos ¢ para a linguagem matemitica Como aponta Julie Cohen’, o problema dos algoritmos € se basear em modelos tidos como verdadeiros em todos os casos ¢ para todos os propésitos, privilegiando sistematicamente um tipo de informacao ~ estatica quantificavel ~ ¢ um tipo de conhecimento=mais “racionalizante” e “objetificante” —ao custo de outras formasde conhecimento que sao também importantes para osassuntos humanos, Eaconseqt- ia disso € uma perda—nao um ganho—de liberdade, j que tais praticas procuram moldar ¢ predizer 0 comportamento dos individuos de acordo com trajetdrias de oportunidades ¢ desejos que sao determinadas externamente. Dai a advertencia de John Cheney-Lipold de que os algoritmos, ao traduzirem conceitos como género, raca, classe e mesmo cidadania para formas tipicas quantita tivas e mensurdveis, reconfiguram nossas concepgdes de controle ¢ poder", criando uma espécie de soft biopolitics ou de um “controle sem controle” Oqueautor procuraressaltaré que traduziraspectoscomplexos, multifacetados. sofisticados e as vezes até erriticos da experiéncia humana para critérios objetivos 9. COHEN, julie E. Examined lives: informational privacy and the subje 52,2000, p. 1376, 10. Op. cit p33, LI. Op. cit p.35. as object. Stanford Lav Review.WIGAMENTO: 1 ALGOREINC Os 585 iativos OF formulas matematicas nao s6 nao ¢ um ra ay exercicio de poder, especialmente se tas formulae na nal como € i i jas.a0 controle social ou 20 controle por parte ne te a ? eles que serao por elas oa que serio por ela \gleresaltar quea tendencia atual de transferi para algoritmos deci onadas a uestOes humanas€ sociais nto deitdeves aaa nn oda ex relaci ed ematizacao do mundo ¢ das ciéncias sociais Monte mal nis do que se referit a0 processo pelo qual se considera que a matematica ile set util para a compreensao ¢ a solucdo de todos os problemas do mundo, : ree atzagaoenvolvea ideiadequesomente€vilido oconhecimentoquanttaiva fpgoW. Teed Rockwell tal posturarompeatradigio que pemeota maorpart “eigoria humana, na qual o conhecimento foi considerado algo que precisava ser eenado e capturado por palavra. Stephan Hartmann ¢ Jan Sprenger"? fazem uma interessante sintese historica ese sentido, mostrando que, até o inicio do século XX, as ciéncias sociais eram femuladas em termos qualitativos, de forma que os métodos quantitativos €mate- niticos ou nao cumpriam um papel substancial ou eram até mesmo considerados ‘mproprados. Entretanto, no final do século XX, os métodos matematicos e estatis- jeospissaram a ser usados ¢ valorizados até que se chegasse ao momento atual, em cusquse todas as cigncias sociais neles confiam para anilise de dados, formulacao dehipoteses eentendimento do mundosocial, inclusive coma criagao das cortespon- deatessubdisciplinas, tais como Mathematical Psychology, Mathematical Sociology «Mathematical Anthropology'*. Aindasegundo Stephan Hartmann ¢ Jan Sprenger'”,0 proce: so de matematizacio dhegou ainda mais cedo as ciéncias econdmicas, o que explica o fato dea economia contemporanea ser dominada pela abordagem matematica, ainda que esta visao ‘sja sob ataque desde o inicio dos anos 2000, especialmente em razio dos desen- tolvimentos recentes da economia comportamental ¢ da economia experimental. Uma das importantes razées paraamatematizacao das clenciassociais¢4 busca Porprecisio, objetividade e previsibilidade, o queasaproximaria dasciénciasnaturais tlhes arin maior *elentificidade”. Para Stephan Hartmann Jan Sprenger”, ¢nbora Popper nao tenha proposto a matematizacio das ciencias sorias,0 ut foco Mpredigdes falseabilidudle aeabou levando ao entendimento de que wma teorit "elematizada é preferivel a uma teoria que nA0 €: 2013, p.633, DOK 102478613374 00 ROCKWELLA es: Human Afis2 ROCKWELL W. Ted, Algorithms stories Human A IARTMANN, stephan; SPRENGER, Jn. Mathemaian! suaistlesin 16 Gy toed handle net23181662039. the Social Seiences. May 7, 2010.586 ANATRAZA. O grande problema, entretanto, nao ¢ usara matematica como importante fe. nta para a compreensio dos problemas humanos, mas sim considerar valid somente 0 conhecimento apoiado por formulas matematicas, como bem sinteti Rockwell! “Asa result tisvery dificult ourtimetoexplain why anyone should bother to study knowed which consists only of words unsupported by mathematical formulae. Many peoplein the hase nities have dealt with ths problem by mathemalizing ther disciplines. Philosophers study Page by reducing his arguments to symbolic logic. English professors read Shakespeare by analyring siting biographies of great historical igure, and start analyzing grain production statistics A thropologists stop writing stories about their visits to exotic cultures, and focus on DNA analysis and bone structure. Not every one in these disciplines fits this caricature, of course. The ther extreme strategy available is to reject the ambition to actully deliver knowledge, and to sce the sloriestoldby novelists, anthropologists, andhistoriansasakindofenterainment whose existence is justified by their beauty, not theie wuth, sas mesmas limitagdes podem ser observadas no processo de reducio do conhecimento cientifico genuino somente ao que pode ser traduzido na forma de algoritmos matematicos!, Afinal, como jéantecipava Hannah Arendt”, aintroducao da matematica nos assuntos humanos gera um perigoso impasse, porque a matemi- tica nao pode ser reconvertida em palavras e tudo o que os homens fazem, sabem ou experimentam so tem sentido na medida em que pode ser discutido. Por outro lado, em outra linha de reflexdo, Einstein jé mostrava os desafios das metricas ¢ quantificagdes, ao advertir que nem tudo o que conta é contavel e nem tudo o que € contivel conta”. Dai por que a pretensao de certeza ¢ objetividade nas ciéncias sociais encontra desafios naturais diante da natureza dinamica e mutavel das experiéncias sociais. Consequentemente, métodos quantitativos tendem a descon- siderar o que ¢ dificil ou impossivel de ser quantificado ou acabam implementando quantificagdes reducionistas ou aleatorias Por essa razao, David Kingsley", ao refletir sobre a matematizacao das ciencias sociais ¢ especialmente da ciencia politica, conclui que complexos modelos mate- maticos nao refletem a realidade, pois muito da quantificagao ¢ realizada a partir de falacias, Nao é sem motivo que, mesmo sendo otimistas quanto a utilizacao de métodos matematicos e estatisticos nas ciéncias sociais, Hartmann e Sprenger” advertent para fato de que €um erro supervalorizar o papel da matematica, pois esta €apen2s 17. Op.citp. 034 18, Ver ROCKWELL, Op. cit, p.633. 19. ARENDT, Hannah, A Condicao Humana, Trad. Roberto Raposo, Lishoa: Relogio d’Agua Fditores, 20012 15, 20, Cl MULLER, Jerry Z. The yramy of metrics, New Jersey: Princeton University Press, 2018 : Exper 21, KINGSLEY, David. Quantification and Seientism in Political Seience: Domination of Discourse PY Presenting Mathematical Models of Reality hups:/dot.ory/10.1002/popt 211 22. Op.cit. peWIGAMENTOS AGORIIMICOS 587 sramenta cujo uso depende crucialme yma le tificaram a sua utilizacao. Outro prol we hetir a complexidade do mundo soci a Pests Premissas dos pressupostos m4 apontado pelos autores ¢ que al, tais formulacoes Jacoes matematicas, es- inte quando elaboradas com poderosos computad cl ores, podem resultar em Flos tio complexos que, ainda que se adequema realidade c npirica, tornam-se reampreensivels- Consequéncias dessas limitacoes s4o apontadas por Nicolas Bouleau. jponanstsos da matemtica na economia, poisvariasquestoes importantes eseapamy ‘gsmodelos matematicos, tais comoa evolucao estrutural chistoricadassociedades, ‘venao de crises, os fendmenos psicoldgicos, dente inumeras outras Umdosexemplos citados por Nicolas Bouleau éa relacao entrea matematizacao Jorico ocorrida nos mercados financeiros ea auséncia de medidas de seguranea,o iuebideterminante para a crise econdmica do subprime de 2008, Segundo o autor, squmtifcacao da incerteza remove o significado dos eventos, o que impossibilita a propria compreensao da extensao do risco. » ao tratar Ademais, especialmente nas ciéncias sociais, como ¢ 0 caso da economia, a uilizagio dos modelos matematicos nao se adequa ao rigor “popperiano”, ja que teins econdmicas nao sdo suscetiveis de refutacao pela observaciio dos fatos, Como cambiente social esta em constante mudanga e nunca se repete, modelos especiali- zalos com objetivos preditivos sao probabilisticos e nao podem ser submetidos ao tsie da falseabilidade por um unico evento. Ademais, matematizacdes uteis para conpreender mudangas sao sempre abertas a muitos modelos que competem entre siadepender das diferentes perspectivas de que partam, Epor essa razo que, ao lado de mostrar que é necessirio o pluralismo interpre- uatvo e que a funcao social do conhecimento nao ¢ predicao, mas sim precaucao sidado, Nicolas Bouleau conclui que o problema nao éa matematica em si, mas sim ohio deer utilizada como estrutura de teorias que clamam uma verdade univoe Talobservacdo converge com a conclusio de Irving Fisher", a0 ressaltar quea "ematica é uma linguagem e, como tal, deve ser usada quando as relacoes.aserem borela expressadas assim exigirem, em preferéncia a linguagem natural, que é me pS Precisa e completa. De toda sorte, extrai-se das observacdes do autor de que a ; i = problemas soci “etagem matematica nem sempre sera adequada para varios dos problemas sociais sgt 2lat0, portanto, que, além dos problemas ja mencionados, os julgamentos satimicos partem de uma dificuldade inicial, que é a premissa de que todos os *rctos da natureza humana podem ser convertidos em formulas matematicas, @ Mendo é verdade, 2 boi base TULEAU, Nie a, Symptoms, Diagnosis and Philosophical bases for ay Hes Wary NcBS. On Excessive Mathematiaton, re oro, * Fhe toed. Real Worl conan Oo eae an ea oj ving. The applica hematics to te Socal Sciences i bulletin tear uation of mathe mayest edclume-3fssu-/Te-appie American-mathematical-society-new-se7i i “Sto-the-social-sciencesshamw/ 1 183493954 lull euclid org/iournalsy ‘of-mathe588 ANATRAZAO, Ademais, mesmo os aspectos da experiencia humana e social que podem ser traduzidos para. linguagem matematica normalmente o serao ou por meio de mo. delos cujas simplificagoes os descolarao da realidade ou por meio de modelos cuja complexidade os tornarao incompreensiveis. Em qualquer das hipoteses, haverg dificuldades consideraveis para a sua utilizacao nos assuntos humanos e sociais, ainda mais se forem considerados julgamentos finais ou prioritarios. Da se poderantecipara conclusio de que, mesmo quando os julgamentosalgo- ritmicos sao compativeis coma natureza ca complexidade do mundo social, hi boas razdes para sustentar que esse tipo de conhecimento nao pode ser tinico e precisa necessariamente de complementacées, especialmente para o fim de incorporar as necessirias discussdes éticas TERCEIRA REFLEXAO: COMO SUPERAR O HIATO ENTRE QUEM PROGRAMA E QUEM EXECUTA OS SISTEMAS ALGORITMICOS? Independentemente das limitagdes das decisdes algoritmicas jé mencionadas, outro importante problema da sua crescente disseminacao é a delegacio, por parte de agentes privados e puiblicos, de decisdes de suas competéncias para sistemas al goritmicos que sao desenhados por outros agentes, criando uma preocupante cisto entre quem programa os algoritmos e quem os aplica. Na verdade, nao seria exagero dizer que a introducao de sistemas algoritmicos em processos decisorios pode implicar uma nova ¢ ainda mais intensa forma de terceirizacao tanto das atividades privadas, como também das atividades publicas, © que nem sempre tem sido objeto da devida atencao. Vale ressaltar que essa terceirizacao, longe de ser um efeito colateral ou no intencional dos julgamentos algoritmicos, parece ser um dos seus principais props sitos. Como ensina W. Teed Rockwell, todos os elementos da decisao algoritmica, como os conhecimentos € a imaginagao necessarios para tal, ficam a cargo do pto- gramador, de forma que a execucao do sistema seja tao simples que até um “idiota obediente” possa fazé-lo: “An Algorithm eliminates the need for this kind of discriminating wisclom, by explaining physical processes in “dead simple steps, requiring no wise decisions or delicate judgments or intuitions (ibid.), The person who designs or discovers an Algorithm needs detailed knowledge and creative imagination. The person who implements the algorithm needs none ofthese things. Infact, sbe\0" ‘tyneed not be a person at all. Another good definition ofan algorithm isa process thatis “simp enough fora mechanical device —or a dutiful idiot to perform” fibid., 141). (1 Dennett admits that the main challenge of creating algorithmic formula is making them detailed tenough that they can be followed by machines or idiots. This implies another question: shal ® W. Teed, Algorithmsand Stories, Human Affairs 23,2 pasts a1.0154-0 Afirs23, 2013, pp.634-635.04 102IVIGAMENTOS ALGORIIMICOS 589 ag oniside te minds of people who can co £088 be untioning algorithms? ora, seaideia de um bom sistema algoritmico ¢ precisamente a de tornai gomsimplieas atermesmo ited ot metic, ems gue Tao apenas eatin elevante hiato entre programadores usuarios, como tambem ~o que € oF as preocupante—que tal hito passa ase considerado como alg natal inano como sina cacficncia do sistemaalgortimico “ly follow instructions that are not detailed bviamente que esse cenitio enseja diversas reflexdes, ate porque as decisc spfme a cabo, serao tomadas, pelo menos do ponto de vista formal, pelosagentes radios publicos usuarios dos sistemas algoritmicos". Todavia, o problema tam- sem nos faz. refletir sobre o papel dos matematicos ¢ programadores. Eminteressante artigo, Maurice Chiodo e Toby Clifton” alertam para o fato de ucaconstante utilizagao da matematica em decisdes cada vez mais importantes finas pessoas paraa sociedade requer as necessariasconsideracbes Ujramentos priticos ¢ as preocupacdes éticas inerentes aos modelos matemiaticos. sobre os des Osautores utilizam-se de dois exemplos relativamente recentes para mostrar adescolamento entre os modelos matematicos pensados abstratamente € os seus rcaltados priticos. O primeiro deles €a crise financeira ce 2008, evento em relacao a»qual hi um consenso no sentido de que o trabalho matematico teve um papel crual para ma wtilizacao dos chamados Collateralised Debt Obligations (CDOs). Jiquea matematica que 0s sustentava nao somente era altamente complexa~o que ‘mpossbilitava asua compreensdo pelo mercado—como continha graves imitacdes praacstimativa de risco, as quais eram também ignoradas pelos agentes que nela sebaseavam, Outro exemplo mencionado pelos autores ¢ o caso Cambridge Analytica, em «uco tabalho perigoso e fraudulento de manipula pessoas para fins politicos for Vabiiado por meio de sofisticados modelosmatemsticosque foram plane}ados para Lpropssito, Aliés, nesse ponto,a conclusio de Chiodo e Clifton val ao enconir do dagnisico de Giuliano De Empoli, noseu inquietantelivr Engenheirosdo Caos 209 "entionar trecho em que o proprio estrategista do Brexit - Cummings - reconhece ‘eetalidade da matematica nos resultados politicos obtides: sultrapassaram todasasexpectativas. it, osresultador “Se voce éjover, inteli- ‘a conclusio perturbadora [RRiuiodeclaragdes do estrategista do Brex }>ponto de Cummings, ele mesmo, titar um: msabiaecivitdoacmnistadones deseo 1° esociedadese™p vee MULHOLLAND, Caitlin. tel estormadas itias por decisoeStOa Sehreasimphcags 4 iemplicages da problemaem relag30aresP AO, Ana, Responsabilidad civil deadministeadores¢ comb Zi0, An - se em sistemas de inteligencia artificial. In: FRAZAC. os Tribunais, 2020, pp. 901-54 ay Alicia eine. Erica aie Responsabiidade Si0 Paulo esd 2 rap DO Mauri CLIFTON: Toby European Matiemat o betes Stank fwww.ems-ph.org/journals/show abstract pRp?sSt . o: Vestigio, 2019, p. 83. Born ces eeoua es a, tech i sno Da. Os egencnos do Cans. Tl590 ANAFRAZAO a, pense bem antes de estudar ciéncias politicas na une disso, em estudar matematica ou fisica.” "side, gente e se interessa por politic. Vacé deveria se inteessar,em vez ¢ Excesso de desfacatez por parte de Cummings ou n20, o fato € que Gitlany Da Empolé” também explora o momento em que estrategista ironicamente i mou que “se Victoria Woodcock, a responsavel pelo software usado na ‘campanha, tivesse sido atropelada por um onibus, o Reino Unido teria continuado na Unigy ropeia. Todas essas discussdes vém mostrando a urgencia de se pensar no impacto dos modelos matemaiticos sobre o mundo, como bem observam Chiodo e Clifton “As a result of the pace and scale at which modern technology operates, through use of inten connectivity and readily-available fast computation, the consequences of the actions o mate. imaticians are more quickly realised and far-reaching than ever before. A mathematician inabig tech company can modify an algorithm, and then have it deployed almost immediately ova user base of possibly billions of people.” Nao bastasse a influéncia e 0 grau de penetracao dos modelos matematicosque tém sido utilizados para embasar decisdes algoritmicas sobre assuntos humanose sociais, Chiodo e Clifton" também advertem para o fato de que tais modelos apre- sentama limitacao natural de nao poderem ser submetidos ao teste da falseabilidade o que é uma razdo a mais para haja uma maior reflexao ética em torno deles: “Modelling a financial system is more difficult, asthe system is affected by the application lt model. A pricing algorithm, if widely used to buy or sell a product, influences the market product in question. How does a model model its own impact? Sonow what happensif you are modelling the future behaviour of people by predictingsomethit like: “How likely isa particular individual charged with a crime to reoffend with aserious tee non-serious offence, or not reoffend, in the next24 months?” How do you test whether your prediction was correct? Now we have a serious ethical isso "* are using mathematical reasoning to make decisions about people that impact thei ves 2%" ‘many oj these cases we can never know whether the decisions made were desitable orappP 'sitrightto use mathematics in such a way without careful reflection? We now face an ethical dilemma. Do we limit ourselves to falsifiable claims, ordo wealen rselves tomake claims, make decisions and initiate actions that are unfalsifiable? Weare Or entitled to do the later; however, we should then bear in mind that we have lost athens certaity. Furthermore, if we do this, we should broaden our perspective and trang so! can incorporate as many aspects of society as possible.” ogra praticos a pels Como se pode observar, os modelos matematicos, por parte dos P! res, tem sido criados sem maiores preocupagdes quanto aos seus efeitos P* consideragoes éticas, pasando a ser utilizados muitas vezes de forma acti: i i este © usuarios, mesmo quando nao podem oferecer certeza nem se submeter # | 29. Op. cit, p88. 30. Op. cit. p.35, 31. Op.eit.p.35,WIGAMINTOS AGORIIMICOS 591 sidade. Em outeas palavras,estamosusandy tais si “rene mesmo saber tais decent istemas para decidira vida oe Sto apropriadas. jem das preocupacdes com resultados equivocados. ‘i geriminatOr0s dos sistemas algoritmicos, 0 proceso. fe i jsori0, a0 ressaltar 0 preocupante hiato entre programadorese uw: iefeacigorisco deur cenario dle“inresponsabilidadeorganizuda ema colo. an pieipantes do PFOceSS0 decisorio—nem programado seam osistema, rem wars, que “siplesmente pera esponsavel pelos resultados das decisces fons MNCOFTetos, injustos ou Ceirizacdo do proceso em zada",emquenenhum Fes, que “simplesmente -xecuitam o sistema ~se QUARTA, REFLEXAO: COMO ASSEGURAR O DEVIDO PI DIGITAL? ROCESSO J3 faz algum tempo que excelente artigo do professor Otavio Luiz Rogues se restaurante em Valncia (Espana) processouafamosalataforma Tripadvisor Gtandamento da acao era o de que, diante ce intimeros comentarios que dessbo- favama reputacio do seu restaurante e que comprometiam a propriasobrevivencia Tpnegocio ~ que iam desde a baixa qualidade da comida ate a pratica ce fraudesa seguridad social ~a plataforma criava entraves para que 0 empresiro pudese de ‘kenderadequadamente e responder oscomentatios. Comobemapontouo professor Otavio Luiz Rodrigues Junior: “Como subjacente & causa esta o velho debate sobre liberdade de expressio versus os valores sociados 3 honra, 4 reputagao e A imagem. Para o restaurant, contudo, hi algo além disso: a patgdo sustenta que os estabelecimentosavaliados se submetem 20 ior dos dois mundos. Nao iamente no TripAdvisor implica ter de se submeter 3s avaliagdes sem direito a ;panhartodososcomentarios liaviamente ingressar voluntari contraditério. E ingressar conduz aumaescravidio:acomy cerespondé-tos, como se fossem servos da empresa nortesamericana. © caso mencionado é um bom ponto de partida para reletirmos sobre os jul- Jamentos virtuais, ndo somente no que diz respeito is questdes procedimentais € ithcionadasao contraditério, como também notocantca qualidade desses ulgamen- ts considerando que muitos deles se baseiam em algoritmos, Cujo resultados nto podem ser compreendidos ou auditados, 0 que,além dos riscos proprios, ainda pode dermargem a burlas e distorcdes. Alias, isso jaaaconteceu com 0 Proprio Tripadvisor, tendo ficado famoso o experimento de um jornalista inglés que, por meio de wma ‘stratgiarelativamente simples, conseguiu burlar a plataforma, fazendo com que Um estaurante falso se tornasse o mimero I de Londres”, dene a esponsabiidade cil espanol zs ; Caja psc a0 omaraanenanst , noc 0 v "AGEM E TURISMO. hupsivigemetarsme aca He-londres-no-tripradvisoro-que-apresnlemou592 ANATRAZAO. Em um mundo crescentemente digital, cada vez mais julgamentos paraos mais diversos finsse tornam também digitais. Emalguns casos, io as proprias plataforma, que fazem tais julgamentos ou consolidam os julgamentos individuais dos usuarios por meio de rankings ou classificagdes daqueles que estao sob julgamento, final, como ja se viu, em uma sociedade movida a dados, cada vez mais se tem visto como empresas, data brokers ¢ congénetes especializaram-se em perflizar classificar ¢ julgar cidadios, buscando extrair inferencias sobre suas caracteristicay ou comportamentos que podem ser usadas para restringir ou mesmo impediracesso a determinadas oportunidades ou a determinados direitos, bens ou servicos. Daio potencial de discriminagoes indevidas, precificagoes individualizadas abusivas ¢ tantas outras condutas que se baseiam na exploragao das vulnerabilidades e fragili dades das pessoas, Como a maior parte desses julgamentos se da por meio de algoritmos secretas © obscuros, até mesmo a identificagao da ilicitude pode ser dificil ou impossive, 0 que torna os cidadkios cada vez mais vulneraveis a esses tipos de priticas A grande pergunta que se extrai desses fatos diz respeito a seguinte questo: que garantias 0s cidadaos deveriam ter sempre que fossem objetos de julgamento nas relagdes privadas e sempre que tais julgamentos pudessem afetar consideravelmente suas vidas? O devido processo legal nao deveria se aplicar tambem a tais hipoteses? Verdade seja dita que muito da construgao do principio do devido proceso legal ocorreu em torno da necessidade de protecao dos cidadaos ¢ dos agentes privados contra o Estado, Fntretanto, em um mundo em que agentes privados podem ter poderes téo grandes ow até maiores do que os do Estado ¢ em que as fronteiras entre 05 espacos publicos ¢ privados estao cada vez mais esgarcadas, nao seri necessitio pensar nas repercussdes do devido processo legal também nas relacd No que diz respeitoao Direito Constitucional, vale lembrar que no ¢ nenhuma novidadea discussao sobre eficacia horizontal dos direitos fundamentais, razao elt qualadiscussao sobre um devido processo digital nao deve causar maior estranheza A grande questio € como operacionalizar isso na pratica, de forma compativel com aautonomia privada. Para Nicolas Suzor™, tal propésito pressupoe a construcao de um constitucio” nalismo digital, em que seja possivel a adaptacao da rule of law, pensada inicialmente para o Estado, também para a governanca da midia digital, com especial atenst? para o papel (i) das plataformas, como definidores das regras de part dos designers de tecnologia, que possibilitam a comunicacao ¢ limitam a aca ( dos desenvolvedores de algoritmos que classifica, organizam, destacam ¢ 54?" mem conteudos ¢ (iv) de todos os empregadores de moderadores humanos ques” 34, SUZOR, Nicolas. by plat goer al constitutional : f tionalism: using the rule of lw to evaluate the kgitimacy 0 ns https//ournas sagepub comiboi10.1177/20563051 Laval 2WIGAMENTOS AGORIIMICOS $93 sg asponsavels polo emorcement Aas regs que ta ; ‘am dos cor dos aceitaveis. dos comportamentos usb _comtet : - grande questao da governanca digital diz respeito a necessidade a lade da criacao regs lars Pe ‘ fee tais conflitos, buscando o atendimento do nucleo re ryaw, que evita 0 arbitrio por meto da institcionalizaga da “ral ofl ofa “aan, he consent ofthe governed requires that governance powe “Aa alnitd by rles—not rbitarily (Dicey, 1959, Thin timatly Neat ele valos se of se that powers wieldedn away thats acount, th oo doy the ules, and thatthose rules shouldonly be changed by appropriate proce pera human good—that all societies benefit tom restantson the ciate lio irercise of power Tamanaha, 2004, p. 137; Thompson, 1990, p. 266) . eros Outro dos pontos fundamentais do digital due process, tal como explica Frede- sek osterl®, € resolver o problema da falta de transparéncia, ja que a opacidade Sjulgamentos virtuais €um dos maioresincentivos parao arbitrio. Datacttica do sarao fato de as plataformas conduzirem suas operacdes como verdadeiras black fas, adotando processos decisorios arbitrarios Como se pode observar, considerandoa frequencia com que esses julgamentos satvais tam sido feitos e os impactos que eles podem ter na vida das pessoas ~ em agunseasos, muito maiores do que julgamentos ¢ condenacdes impostas pelos Es- talos_-é mais do que urgente pensar na eficécia horizontal do devid processo legal tomundo digital, inclusive para o fim de se identificar como osagentes economics rsponsaveis pela arquitetura da internet devem operacionalizar tais garantias Ademais, é bastante salutar que possamos responder as seguintes perguntas Jando quiserem ou ha limites para isso, ctosimportantes paraaavida ‘ancias, de um direito de {i Agentes privados podem julgar outros como € qu espe Cialmente quando os julgamentos sio pitblicos ou podem trazer im dos que esto sob julgamento? Poderiamos cogitar, ‘em algumas circunstancia nio serjulgado ou de nao ser julgado a partir de: ideterminados dados ou critérios? fi) Mesmo quando determinados ulgamentos so possves estes nao lewis” minimamente genie Coane dee rears conocer dedefesa especialmente quando os “vereditos” podem ter ineros impac'0: ‘vida daqueles que estio sendo julgados? Em outras palavras, poderiamos cogitar de um devido processo digital? Ui Em que medida a crescenteullizagdo de algoritmas par tas ulsarnenos pode ser um ins trumento ou um dbice para a realizacao desse devido proceso digital fundamental que pelo menes da possi- Por mais que nao se trate de discussio facil, i claras, (i cmos () a endartneiade regrasimpessoaiseminimamente ras, (ii) login ce (March 11, 2020) Journal of Inte 2 3%, uOOR, Nicolas. Op. eit. p.5. nlastract=3537058: ‘OSTERT, Frederick, Digital Due Process “ Need for Online Justic ‘tual Property Lave 6 Practice, forthcoming. SSRN haupsufssen.com594 ANatRAZAO bilidade de contraditorio e (iit) do respeito a transparéncia ea accountability. fing, se realmente queremos conter 0 arbitrio, ¢ fundamental que as pessoas pelo menos possam entender porque ¢ como esto sendo julgadas, inclusive para que possam exercer o legitimo direito de impugnar 0 *veredito” Dai por que precisamos estar atentos aos principios da publicidade, bem como gras especificas da LGPD, como o direito de explicacao e de recurso contra deci- sdes totalmente automatizadas (art. 20), que podem ser instrumentos importantes para a consecucio do devido proceso digital. Mais do que isso, ¢ urgente que pos samos operacionalizar o devido proceso legal nos julgamentos algoritmicos, a fim de possibilitar que estes sejam compativeis com os direitos fundamentais daqueles que estao sob julgs mento. 7. CONSIDERAGOES FINAIS presente artigo procurou demonstrar que os julgamentos algoritmicos, em azo dos scus impactos sobre a vida das pessoas e dos riscos para a violacio de di- reitos fundamentais e de preceitos éticos elementares, precisam estar sujeitosa uma série de testes ¢ reflexdes étic A primeira delas diz respeito a necessidade de se assegurar que 0s julgamentos algoritmicos apenas possam ocorrer para finalidades legitimas, 0 que obviamente ndo acontece quando sao feitos para criar perfis e decisoes sobreas pessoas com ase em dados sensiveis que, ao exporem suas fraquezas e vulnerabilidades, possibilitam a indevida exploracio ou manipulacao dos individuos A segunda delas diz respeito a necessidade de reconhecer a limita gem matemaitica utilizada pelos julgamentosalgoritmicos, o que reforcaanecessidade de que haja a devida complementariedade por meio de consideracées que inclu as preocupacdes éticas ¢ juridicas cabiveis em cada caso. A terceira delas diz respeito ao fato de que as preocupacées éticas ¢ juridicts precisam permear nao 6 todas as etapas da programagao e desenvolvimento dos sistemasalgoritmicos,como tambémasuaexecucio, o que requer uma nova visiodls relacdes entre programadores ¢ executores, a fim de exigir que sejam pautadas pe ética e respeito aos direitos dos titulares de dados pessoais em todas as suas ep Por fim, a quarta ¢ ultima reflexao diz respeito a necessidade de que os! mentosalgoritinicos encontrem mecanismos para respeitar o devido process "8! 0 queapena pode ocorrer mediante padroes de transparéncia, acesso e contraditon” Consequentemente,as pessoas possam saber comoe por que foram julgadas. inch" para que possam questionar ow impugnar as referidas decisoes al viame ee Obviamente queasmencionadas reflexdes nao tém qualquer pretensio dee otema, mas aosomentede lancar alguns pontos preliminares questo indispers easily idea Paraque os julgamentos algoritmicos possam ocorrer. Trata-se de necessiladeat ma e p P a 5°, diversos P aisimperiosaapos a LGPD, que nao apenas assegura, em seu art. 6°, diverse" yensvel®MICAMENTOS ALGoRitwic 585 ndamentais para ostratamentos de dados,comoa inatidade ay : : e.atranspart naabiity come tambsr prevediersosdirctgrancuhae ee : ares dle dads, inuimeros outros, tasmaisdo quena hora dese busearconcreidea GPD eae deo fond qproteqito dos dados pessoais no que dizre a ralde Prot ose asseguraranemas garantiasindl e «ii : a cae ieitos 20 aCes50 € 2 EXplicaedo, dene oe come ; jamen- Peito aos julgamentosalgoritmicos, tuais mais releva antes nem tambet seme eiedade coesa € uma democracia minimamente eave - u REFERENCIAS App. ADay inthe Lifeof Your Data: Father Daugher Day atthe lay privacy/docs/A_Day nthe_Lie_of Your Daa pul Acesbem eer Ma APPLEBAUM, Anne. The new puritans. The Atlantic. ups//www theatlanticconmagicine/archt ‘e/2021/10/new-puritans-mob:justice-canceled/19818/ Acewocm 20sa 2091 ARENDT, Hannah, A Condicdo Humana. Trad. Roberto Raposo, Lisboa Rlogio Agua Eons, 200 OULEAU, Nicolas. On Excessive Mathematizaton, Symptoms, Diagnossand Philosophical ise for Real World Knowledge. Real World Economics, 011,57, pp.90-105.halshs. 00781076, CHENEY-LIPPOLD, John. We are data. Algorithms and the making of our digital selves. New York: New York University Press, 2017. CHIODO, Maurice; CLIFTON, Toby. European Mathematical Society. Newsletter No. 114, December 2019. https://Avww.ems-ph.org/journalyshow_abstract.php?issn=1027488-X&evol 2-815 114ranke2 COHEN, Julie E. Examined lives: informational privacy and the subject as object. Stanford Lav Review v.52, 2000, p. 1373-1438, DONEDA, Danilo. Da privacidade a protecao de dads pessoas. Rio: Renovar, 2006, EMPOLL, Giuliano Da. Os engenheiros do Caos, Trad, Arnaldo Bloch. Sao Paulo: Vestigio, 2019. FISHER, Irving, Theapplication of mathematics totheSocial Sciences. hupsd/projecteuclid o bullein-of-the-american-mathematical-socity-newseresolue-36fssue-#/The-aplication f-mathematics-to-the-social-sciences/bams/1 183493954-full, Acesso em: 20 set, 2021 FRAZAO, Ana. Responsabilidade civil de administradores de sociedades empresitias por dectsocs to radsscornfa eta elena In FRAO An MULHOLLAND. Ineligencia Artificial e Dircito.Etica, Regulacaoc Responsbilidade. Sto Paulo: Revista dos Tabunas, 2020, p. 501-541 SIARTMANN, Stephan SPRENGER, Jan. MatheratesandaistiesintheSocaI Si P.L-hupy/ndhandle.nne/2318/1 662639. Acesso em: 208.2 clea Sience: Domination of Discourse by pera on/10.1002/pop4 211 Acesoet rnces, May 7, 2010. KINGSLEY, David. Quantification and Scietism in P Experts Presenting Mathematical Models of Reality se.20210 tach 11, 2020) Journal of In M justice (Mé ‘OSTERT, Frederick, ‘Digital Due Process: A Need for Online Justice Man A sco sen coma tcllectual Property Law & Practice, forthcoming. SSRN: hups//S" yn Ose 2021. wL LER, Jerry Z, The tyranny of metrics. New Jersey: Rocky i ELL, W. Teed. Algorithmsand Stories. Human All 374-013.0154-0. Acesso em: 20.et. 202! inceron University Press, 2018 srs23,633-6H, 2013,p.635,DOE 10.2478596 ANATRAZAO. RODOTA, Stefano. A vida na sociedade da vigilancia A privacidade hoje, Trad. Danilo Donedae Laue, Cabral Doneda, Rio: Renovar, 2008, RODRIGUES JUNIOR, Otavio Luiz, Tripadvisor eviara precedente na responsabilidade civil espanhola Conjur, hups:ftwwvw.conjur.com,br/2019-mat-29Aripadvisor-criara-precedente-tesponsabildade civil-espanhola, Acesso em: 205et, 2021 SUZOR, Nicolas. Digital constitutionalism using theruleoflaw tocvaluate the legitimacy of governanceby platforms hupsi/journals.sagepth,com/dov/10, 1177/20363051 18787812. Acesso-em: 20set, 2001 VELIZ, Carissa, Privacy ispower Why andhow you should take hack controof your data. Bantam Pres, 2021