06 - Ed Tech 1 - Humans Right

Machine Translated by Google
De olho nos desenvolvimentos em inteligência artificial e nos direitos das crianças: inteligência artificial em
Educação (AIEd), EdTech, Vigilância e Conteúdo Nocivo
Susan von Struensee, JD, MPH

Documento de Trabalho da Iniciativa de Pesquisa Global
junho de 2021
Sistemas de Inteligência Artificial (IA), embora pouco percebidos em nosso cotidiano, estão se tornando onipresentes
1
para todas as pessoas, incluindo crianças. A IA é utilizada nas cidades para fins de segurança pública e organização do ; em
trânsito em hospitais, por meio de aplicações em aparelhos que auxiliam os médicos na detecção de doenças2 ; na educação, com o uso de
algoritmos que criam possibilidades de aprendizagem personalizada3 ou tecnologias de reconhecimento facial4 ; e
entretenimento,5 para citar alguns.
1 Thierer, Adam D. e Castillo O'Sullivan, Andrea e Russell, Raymond, Artificial Intelligence and Public
Política (17 de agosto de 2017). Mercatus Research Paper, disponível em SSRN: https://ssrn.com/abstract=3021135 ou
http://dx.doi.org/10.2139/ssrn.3021135; e Berk, Richard, Inteligência Artificial, Policiamento Preditivo e Avaliação de
Risco para Aplicação da Lei (janeiro de 2021). Revisão Anual de Criminologia, vol. 4, pp. 209-237, 2021, vol. 4, pp.
209-237, Disponível em SSRN: https://ssrn.com/abstract=3777804 ou http://dx.doi.org/10.1146/
annurev-criminol-051520-012342
2 Que Doutor? Por que a IA e a robótica definirão a nova saúde, PWC (junho de 2017),
https://www.pwc.com/gx/en/industries/healthcare/publications/ai-robotics-new-health/ai-robotics-new health.pdf.
3 Zeide, Elana, Robot Teaching, Pedagogy, and Policy (Próximo 2019). Em breve no The Oxford
Handbook of Ethics of AI, Oxford University Press (Markus D. Dubber, Frank Pasquale e Sunit Das eds.), Disponível em
SSRN: https://ssrn.com/abstract=3441300
4 Por exemplo, Barrett, Lindsey, banir tecnologias de reconhecimento facial para crianças – e para todos os outros (24
de julho de 2020). Boston University Journal of Science and Technology Law. Volume 26.2, Disponível em
SSRN: https://ssrn.com/abstract=3660118 (“As tecnologias de reconhecimento facial permitem uma forma de
vigilância exclusivamente perigosa e difundida, e as crianças não podem escapar dela mais do que os adultos.
ilegal ocultar publicamente. A erosão da obscuridade prática em público ameaça tanto a privacidade quanto a
liberdade de expressão, pois torna muito mais difícil para as pessoas navegar pelos espaços públicos sem serem
identificadas e mais fácil identificar rápida e eficientemente muitas pessoas na multidão ao mesmo tempo. Para piorar ainda mais a situa
tecnologias de reconhecimento demonstraram ter um desempenho menos preciso para pessoas de cor, mulheres, não-binárias
e pessoas transgênero, crianças e idosos, o que significa que eles têm o potencial de permitir a discriminação
em qualquer fórum em que sejam implantados. À medida que essas tecnologias se desenvolvem e se tornam mais
prevalentes, as crianças estão sendo submetidas a elas em escolas, acampamentos de verão e outros contextos
específicos para crianças, bem como ao lado de seus pais, por meio de CFTV, câmeras de segurança privadas,
sistemas de segurança de apartamentos instalados pelo proprietário ou pela aplicação da lei. A vulnerabilidade
particular dos jovens em relação aos adultos pode fazer com que pareçam candidatos naturais para maior proteção
das tecnologias de reconhecimento facial. Os jovens têm menos poder de decisão sobre onde vão e o que fazem,
avaliações imprecisas de seus rostos podem ter um impacto particularmente forte em suas vidas em contextos como
os de aplicação da lei, e os efeitos assustadores dessas tecnologias na liberdade de expressão podem restringir seu
desenvolvimento emocional e intelectual. Ao mesmo tempo, alguns dos danos que os jovens experimentam são
danos quase universais à privacidade, como a erosão da obscuridade prática, enquanto os danos discriminatórios
da avaliação imprecisa de seus rostos pelo reconhecimento facial são compartilhados por outros grupos demográficos.”)
5 Hasse, Alexa e Cortesi, Sandra Clio e Lombana-Bermudez, Andres e Gasser, Urs, Youth and Artificial Intelligence: Where
We Stands (24 de maio de 2019). Publicação de pesquisa do Berkman Klein Center nº 2019-3, disponível em SSRN:
https://ssrn.com/abstract=3385718 ou http://dx.doi.org/10.2139/ssrn.3385718 (este artigo busca compartilhar os
aprendizados iniciais de Youth and Media e as principais questões sobre a interseção entre IA e juventude (de 12 a 18
anos), no contexto de domínios como educação, saúde e bem-estar, e o futuro do trabalho. O objetivo é incentivar
várias partes interessadas, incluindo formuladores de políticas, educadores e pais
1
Cópia eletrônica disponível em: https://ssrn.com/abstract=3882296
A ascensão da IA é um fenômeno globalmente onipresente associado ao que muitos chamam de 4ª Revolução Industrial.
Revolução.6
Apesar de todo esse desenvolvimento tecnológico e seus aspectos potencialmente positivos, a automação de diversos
processos e a facilitação da vida humana como um todo, a IA tem provocado uma série de questões éticas e
discussões sobre direitos humanos e segurança.7 Essas preocupações imediatas não incluem a consideração de
as discussões sobre “a singularidade” um futuro onde as tecnologias de máquinas podem se fundir com a biologia humana e
8
fisiologia através do uso de AI9 geral ou super .
Esses desafios de sistemas baseados em IA são ainda mais complexos quando se considera a demografia do
países do Sul Global que possuem grande número de filhos por família. A IA pode contribuir para o
mitigação exponencial das desigualdades estruturais. Pode ajudar a garantir os direitos humanos, como o direito à
alimentação adequada, saneamento básico, educação de qualidade, empregabilidade e segurança. No entanto, também pode exasperar
discriminação preexistente, inclusive na educação, impactando a acessibilidade das crianças à educação e diversão
de educação acessível.10
É necessário continuar analisando a relação da IA como impactando direta ou indiretamente o ensino

processos de crianças, inclusive no Sul Global, onde os desafios estruturais da educação formal, como
11
afetados pela IA, estão aumentando. Supervisão da responsabilidade das entidades participantes de respeitar e proteger
os direitos das crianças, incluindo governo e estado (no desenvolvimento de políticas) e também empresas de tecnologia (no
design, desenvolvimento e fornecimento de tecnologias, produtos e serviços de IA) precisarão ser
e cuidadores - para considerar como podemos capacitar os jovens a interagir significativamente com tecnologias baseadas
em IA para promover e reforçar o aprendizado, a expressão criativa e o bem-estar, ao mesmo tempo em que abordamos os
principais desafios e preocupações.)
6 A inovação tecnológica vem mudando o cenário econômico e social nos últimos 300 anos, desde a Primeira Revolução Industrial
(água e energia a vapor), até a Segunda Revolução Industrial (energia elétrica e linha de montagem), até a Terceira Revolução
Industrial (também chamada de revolução digital, composta por computadores e Internet). Consulte The Future Computed:
Artificial Intelligence and Its Role in Society, MICROSOFT em 93 (2018), https://news.microsoft.com/uploads/2018/01/
The-Future-Computed.pdf. IA é o
última inovação tecnológica e foi cunhado por alguns como a Quarta Revolução Industrial. Conforme explicado por
Klaus Schwab, fundador e presidente executivo do Fórum Econômico Mundial: Existem três
razões pelas quais as transformações de hoje representam não apenas um prolongamento da Terceira Revolução Industrial,
mas sim a chegada de uma Quarta e distinta: velocidade, alcance e impacto dos sistemas. A velocidade da corrente
avanços não tem precedente histórico. Quando comparada com as revoluções industriais anteriores, a Quarta está evoluindo
em um ritmo exponencial e não linear. Além disso, está causando disrupção em quase todos os setores em todos os
países. E a amplitude e profundidade dessas mudanças anunciam a transformação de sistemas inteiros de produção, gestão
e governança”. Klaus Schwab, A Quarta Revolução Industrial: o que significa, como responder, WORLD ECON. F. (14
de janeiro de 2016), https://www.weforum.org/agenda/2016/01/thefour-industrial-revolution-what-it-means-and-how-torespond/.
7 Raso, Filippo e Hilligoss, Hannah e Krishnamurthy, Vivek e Bavitz, Christopher e Kim, Levin Yerin, Inteligência Artificial e Direitos
Humanos: Oportunidades e Riscos (25 de setembro de 2018). Publicação de pesquisa do Berkman Klein Center nº 2018-6,
disponível em SSRN: https://ssrn.com/abstract=3259344 ou http://dx.doi.org/10.2139/ssrn.3259344
8 'Stephen Hawking adverte que a inteligência artificial pode acabar com a humanidade', Rory Cellam-Jones, BBC, dezembro de 2014.
Disponível em: https://www.bbc.com/news/technology-30290540
9 Haney, Brian, The Perils & Promises of Artificial General Intelligence (5 de outubro de 2018). Brian S. Haney, Os perigos e
promessas da inteligência artificial geral, 45 J. Legis. 151 (2018). , Disponível em SSRN: https://ssrn.com/
abstract=3261254 ou http://dx.doi.org/10.2139/ssrn.3261254
10 Isabella Henriques e Pedro Hartung, Children's Rights by Design in AI Development for Education,
Revisão Internacional de Ética da Informação, vol. 29 (03/2021) https://
informationethics.ca/index.php/irie/article/view/424/401
2
desenvolvido juntamente com a utilização de um Children's Rights by Design (CrbD), padrão focado no melhor
interesses das crianças,12 conforme contemplado pela Convenção das Nações Unidas sobre os Direitos da Criança.13
14 Existem valiosos
As tecnologias de IA têm um impacto positivo e negativo nos direitos humanos das crianças.
oportunidades de usar a inteligência artificial de forma a maximizar o bem-estar das crianças, mas existem
perguntas que precisamos fazer e responder para melhor proteger as crianças de possíveis impactos negativos de
inteligência artificial.
Muitos estão trabalhando para enfrentar os desafios e oportunidades que crianças e jovens encontram no ambiente digital
ambiente.15 Como a inteligência artificial pode ser aproveitada para proteger, beneficiar e capacitar os jovens globalmente?16
Como o UNICEF e outras organizações enfatizam, devemos prestar atenção especial às crianças e à evolução de
Tecnologia de IA de forma que os direitos e necessidades específicos das crianças sejam reconhecidos. O potencial impacto de produtos artificiais
inteligência em crianças merece atenção especial, dadas as vulnerabilidades aumentadas das crianças e os numerosos
papéis que a inteligência artificial desempenhará ao longo da vida dos indivíduos nascidos no século XXI.
Revisão Internacional de Ética da Informação, vol. 29 (03/2021)
https://informationethics.ca/index.php/irie/article/view/424/401
13 Nações Unidas, Convenção sobre os Direitos da Criança - Disponível em
https://www.ohchr.org/en/professionalinterest/pages/crc.aspx
14 UNICEF, Inteligência Artificial e Direitos da Criança, 2018 https://
www.unicef.org/innovation/media/10726/file/Executive%20Summary:%20Memorandum%20on
%20Artificial%20Intelligence%20and%20Child%20Rights.pdf (“A equipe de autoria deste memorando é composta
por Mélina Cardinal-Bradette, Diana Chavez-Varela, Samapika Dash, Olivia Koshy, Pearlé Nwaezeigwe, Malhar
Patel, Elif Sert e Andrea Trewinnard, que conduziram suas pesquisas e redação sob a supervisão de Alexa
Koenig do Centro de Direitos Humanos da UC Berkeley”)
15 Cortesi, Sandra Clio e Gasser, Urs e Adzaho, Gameli e Baikie, Bruce e Baljeu, Jacqueline e Battles, Matthew e
Beauchere, Jacqueline e Brown, Elsa e Burns, Jane e Burton, Patrick e Byrne, Jasmina e Colombo, Maximillion
e Douillette, Joseph e Escobar, Camila e Flores, Jorge e Ghebouli, Zinelabidine e Gonzalez-Alonca, Juan e Gordon ,
Eric e Groustra, Sarah e Hertz, Max e
Junco, Reynol e Khan, Yasir e Kimeu, Nicholas e Kleine, Dorothea e Krivokapic, Djordje e Kup, Viola e Kuzeci, Elif e
Latorre Guzmán, María e Li, David e Limbu, Minu e Livingstone, Sonia e Lombana-Bermudez, Andres e Massiel, Cynthia
e McCarthy, Claire e Molapo, Maletsabisa e Mor, Maria e Newman, Sarah e Nu takor, Eldad e Onoka, Christopher e
Onumah, Chido e Passeron, Ezequiel e Pawelczyk, Katarzyna e Roque, Ricarose e Rudasingwa, Kanyankore e Shah,
Nishant e Simeone, Luca e Siwakwi, Andrew e Third, Amanda e Wang, Grace, Digitally Connected: Global
Perspectives on Youth and Digital Media (26 de março de 2015). Publicação de pesquisa do Berkman Center nº 2015-
6, Disponível em SSRN: https://ssrn.com/abstract=2585686 ou http://dx.doi.org/10.2139/ssrn.2585686

(Refletindo sobre os 25 anos da invenção da World Wide Web por Sir Tim Berners-Lee e a adoção da Convenção
sobre os Direitos da Criança pela Assembleia Geral dos EUA, o Berkman Center for Internet & Society na Universidade
de Harvard e a UNICEF co-organizaram em abril de 2014 - em colaboração com PEW Internet, EU Kids Online,
Internet Society (ISOC), Family Online Safety Institute (FOSI) e YouthPolicy.org - o primeiro simpósio
internacional sobre crianças, juventude e mídia digital para mapear e explorar o estado global de pesquisas e
práticas relevantes, compartilhar e discutir percepções e ideias do
mundo em desenvolvimento e industrializado, e incentivar a colaboração entre os participantes em todas as regiões
e continentes. Com foco particular nas vozes e questões do Sul Global, o simpósio abordou temas como acesso
desigual, riscos à segurança e privacidade, habilidades e alfabetização digital, espaços para participação,
engajamento cívico e inovação. O evento também marcou o lançamento do Digitally Connected
— uma iniciativa que reúne acadêmicos, profissionais, jovens, ativistas, filantropos, funcionários do governo
e representantes de empresas de tecnologia de todo o mundo que, juntos, estão enfrentando os desafios e
oportunidades que crianças e jovens encontram no ambiente digital.)
16 Fórum Econômico Mundial, Empowering Generation AI , Cúpula de Desenvolvimento Sustentável 2020, (31 de dezembro,
2020) https://www.youtube.com/watch?v=gi625laHeGs
3
À medida que as tecnologias baseadas em IA se tornam cada vez mais integradas à vida moderna, o ônus recai sobre as empresas,
governos, pesquisadores, pais, a maioria, para considerar as maneiras pelas quais essas tecnologias impactam a vida das crianças
direitos humanos. O potencial impacto da inteligência artificial nas crianças merece atenção especial, dado
vulnerabilidades aumentadas das crianças e os numerosos papéis que a inteligência artificial desempenhará ao longo do
expectativa de vida dos indivíduos nascidos no século XXI. Como grande parte da tecnologia subjacente é proprietária da
corporações, disposição e capacidade das corporações de incorporar considerações de direitos humanos no
desenvolvimento e uso de tais tecnologias serão críticos. Os governos também precisarão trabalhar com corporações,
pais, crianças e outras partes interessadas para criar políticas que protejam os direitos humanos das crianças e
interesses. 17
Existem oportunidades valiosas para usar a inteligência artificial de maneira a maximizar o bem-estar das crianças, mas
trabalho crítico precisa ser feito para proteger melhor as crianças das consequências negativas da IA.
IA, Machine Learning e Deep Learning
Os termos inteligência artificial, aprendizado de máquina e aprendizado profundo são frequentemente usados de forma intercambiável pelo
público em geral para refletir o conceito de replicar o comportamento “inteligente” em máquinas.
Geralmente, a IA refere-se a um subcampo da ciência da computação focado na construção de máquinas e software que podem
imitar tal comportamento. O aprendizado de máquina é o subcampo da inteligência artificial que se concentra em dar ao computador
sistemas a capacidade de aprender com os dados. O aprendizado profundo é uma subcategoria do aprendizado de máquina que usa
redes para aprender a representar e extrapolar a partir de um conjunto de dados. Existem inúmeras maneiras de o aprendizado de máquina
e os processos de aprendizado profundo impactam a vida das crianças e, em última instância, seus direitos humanos, e quão artificiais
tecnologias de inteligência estão sendo usadas de maneiras que impactam positivamente ou negativamente as crianças em casa, na escola,
e em jogo.18
Papel da IA na vida das crianças
O papel da inteligência artificial na vida das crianças - desde como as crianças brincam, como são educadas, até como
eles consomem informações e aprendem sobre o mundo – deve aumentar exponencialmente. Um número de
iniciativas começaram a mapear o impacto da IA nas crianças.19 Assim, é imperativo que as partes interessadas venham
juntos agora para avaliar os riscos do uso de tais tecnologias e avaliar as oportunidades de usar
inteligência para maximizar o bem-estar das crianças de forma ponderada e sistemática. Como parte desta avaliação,
as partes interessadas devem trabalhar juntas para mapear os possíveis usos positivos e negativos da IA na vida das crianças e
desenvolver uma estrutura baseada nos direitos da criança para inteligência artificial que delineie direitos e deveres correspondentes
para desenvolvedores, corporações, pais e filhos em todo o mundo.
O potencial impacto da inteligência artificial nas crianças merece atenção especial, dada a elevada
vulnerabilidades e os inúmeros papéis que a inteligência artificial desempenhará ao longo da vida dos indivíduos
que nasceram no século 21. Como grande parte da tecnologia subjacente é propriedade de corporações,
disposição e capacidade das corporações de incorporar considerações de direitos humanos no desenvolvimento e uso de
tais tecnologias serão críticas. Os governos também precisarão trabalhar com empresas, pais, crianças e
outras partes interessadas para criar políticas que protejam os direitos humanos das crianças e interesses relacionados.
17 Cedric Villani, “For a Meaningful Artificial Intelligence Towards a French and European Strategy,” 8 de março de 2018,
disponível em https://www.aiforhumanity.fr/pdfs/MissionVillani_Report_ENG-VF.pdf.
18 “Office of Innovation, UNICEF Office of Innovation,” UNICEF Innovation Home Page, disponível em
https://www.unicef.org/innovation/.
19 UNICEF. 2020. 'Orientação de Políticas sobre IA para Crianças
(Rascunho)'. https://www.unicef.org/globalinsight/media/1171/file/UNICEF-Global-Insight-policyguidance-AI-children
draft-1.0-2020.pdf Ver também Kardefelt-Winther, Daniel. 2017. 'Como o tempo que as crianças passam usando a
tecnologia digital afeta seu bem-estar mental, relações sociais e atividade física?: Uma revisão da literatura focada em
evidências'. Documentos de discussão Innocenti 2017/02. Vol. 2017/02. Papéis de Discussão Innocenti. UNICEF.
https://doi.org/10.18356/cfa6bcb1-en.
4
A Convenção sobre os Direitos da Criança
A Convenção das Nações Unidas sobre os Direitos da Criança (CDC),20 adotada pela Assembleia Geral da ONU em 20
Novembro de 1989,21 fornece o quadro jurídico internacional para os direitos da criança.22A CDC é a mais
quadro jurídico abrangente que protege as crianças - definidas como seres humanos de 18 anos ou menos - como
titulares de direitos.23 Até alguns anos atrás,24 a CDC não continha um mecanismo de execução real, que era
considerada uma falha manifesta. As crianças não podiam apresentar queixas e a Convenção não podia ser testada em casos específicos
26
casos pelos tribunais.25 Em 2011, no entanto, foi adotado o Protocolo Facultativo sobre um Procedimento de Comunicação,
que permite que crianças individuais apresentem queixas sobre violações específicas de seus direitos sob o
Convenção e seus dois primeiros protocolos opcionais. O Protocolo entrou em vigor em abril de 2014.27 Além disso, o
A UNCRC tem uma função simbólica28 e uma forte força moral.29O Comitê dos Direitos da Criança da ONU
monitora a implementação da UNCRC e emite comentários críticos ou recomendações.30 Cabe então
os governos nacionais a levá-los em conta.
20 Nações Unidas, Convenção sobre os Direitos da Criança, 20.11.1989, http://

www.unhchr.ch/html/menu3/b/k2crc.htm [daqui em diante: CRC].
21 Documentos internacionais anteriores sobre os direitos da criança foram: “Declaração sobre os Direitos da Criança”, adotada
pela Liga das Nações em 1924, e a “Declaração das Nações Unidas sobre os Direitos da Criança” de 1959, que foi
adotada por unanimidade pela Assembleia Geral das Nações Unidas em 20 de novembro de
1959, http://www.unhchr.ch/html/menu3/b/25.htm. Para uma visão geral detalhada, cf. Van Bueren, Geraldine, A lei
internacional sobre os direitos da criança, Dordrecht, Martinus Nijhoff Publishers, 1995, 6-12.
22 Ver também Comissão das Comunidades Europeias, Documento de trabalho dos serviços da Comissão que acompanha a
Comunicação da Comissão Rumo a uma estratégia da UE sobre os direitos da criança, Avaliação do impacto,
COM (2006) 367 final, SEC (2006) 888, 04.07.2006, http://
register.consilium.europa.eu/pdf/en/06/st12/st12107ÿad01.en06.pdf, 6: “A UNCRC fornece um quadro coerente e
abrangente para avaliar a legislação, políticas, estruturas e ações”.
23 Assembleia Geral da ONU, “Convenção sobre os Direitos da Criança, 20 de novembro de 1989,” Nações Unidas, Série de
Tratados, vol. 1577, pág. 3, Artigo 1. Ver também von Struensee, Susan, Highlights of the United Nations Children's
Convention and International Response to Children's Human Rights, Suffolk Transnational Law Review, vol.
18, Edição 2 (Verão de 1995), pp. 589-628 Disponível em SSRN: https://ssrn.com/abstract=657363
24 Kilkelly, Ursula, “O melhor dos dois mundos para os direitos da criança? Interpretação da Convenção Europeia sobre
Direitos humanos à luz da Convenção das Nações Unidas sobre os Direitos da Criança”, Human Rights Quarterly 2001,
vol. 23, 309; McLaughlin, Sharon, Direitos v. restrições. Reconhecendo a participação das crianças na era digital, em
Brian O'Neill, Elisabeth Staksrud, Sharon McLaughlin, Towards a Better Internet for Children? Policy Pillars, Players and
Paradoxes, Nordicom, 2013, 316. Para saber mais sobre a implementação do CRC, cf. Van Bueren, Geraldine, A lei
internacional sobre os direitos da criança, Dordrecht, Martinus Nijhoff Publishers, 1995, 378-422.
25 Bainham, Andrew, Children – the modern law, Bristol, Family Law, 2005, 67. Mas tribunais supranacionais, como
como o Tribunal Europeu de Justiça, referiu-se à CDC em sua jurisprudência.
26 Nações Unidas, Protocolo Opcional sobre um Procedimento de Comunicações, 2011,
https://treaties.un.org/doc/source/signature/2012/ctc_4ÿ11d.pdf. Veja, por exemplo, Spronk, Sarah Ida, Realizing
Children's Right to Health: Added Value of the Optional Protocol on a Communications Procedure for Children (10 de
agosto de 2012). Disponível em SSRN: https://ssrn.com/abstract=2127644 ou http://dx.doi.org/
10.2139/ssrn.2127644 e Binford, W. Warren Hill, utilizando os procedimentos de comunicação do ACERWC e do
UNCRC (29 de outubro de 2012). Disponível em SSRN: https://ssrn.com/abstract=2209507. ou
http://dx.doi.org/10.2139/ssrn.2209507
27 A entrada em vigor do Terceiro Protocolo Opcional sobre um Procedimento de Comunicações (OPIC) em 2014 foi
inovadora, pois permitiu que as crianças apresentassem queixas à ONU sobre violações de seus direitos, se as
violações não pudessem ser tratadas de forma eficaz em nível nacional. No entanto, para promover o acesso à
justiça para crianças, é importante aumentar a ratificação do OPIC pelos Estados e trabalhar para sua
implementação efetiva no nível nacional. Em 2021, sete anos desde a entrada em vigor do Protocolo Facultativo,
47 Estados ratificaram o OPIC, 17 assinaram, mas ainda não o ratificaram, e 133 não tomaram nenhuma medida. https://
opic.childrightsconnect.org/ratification-status/ e https://treaties.un.org/
Pages/ViewDetails.aspx?src=TREATY&mtdsg_no=IV-11-d&chapter=4&clang=_en
5
A CDC visa garantir a igualdade de tratamento das crianças pelos Estados. A CDC é o principal instrumento internacional
sobre os direitos da criança e representa um nível extraordinário de consenso internacional sobre os direitos legais que
crianças deveriam ter.31 A Convenção impõe obrigações a 195 Estados Partes.32 para fornecer proteção legal
por uma ampla gama de direitos inerentes às crianças em virtude de sua dignidade humana. Muitos desses direitos são inerentes
todos os seres humanos e, portanto, já estavam protegidos por instrumentos pré-existentes de direito internacional, como
o Pacto Internacional sobre Direitos Civis e Políticos (ICCPR) e o Pacto Internacional sobre Direitos Econômicos,
Direitos Sociais e Culturais (PIDESC). A CDC visa enfatizar que esses direitos se aplicam igualmente a crianças,
independentemente de sua idade, e fornecer medidas explícitas para garantir que as crianças possam desfrutar desses direitos em um
igualdade de condições com outros seres humanos.33
A Convenção concede direitos às crianças em categorias muitas vezes referidas como os três Ps: Proteção (de
dano, violência ou exploração); Provisão (com os recursos dos servidores necessários para uma vida digna) e
Participação (na sociedade e nas decisões que afetam a criança).34
Além disso, a Convenção prevê disposições específicas para alguns direitos que são específicos das crianças devido à sua
estágio de desenvolvimento e sua posição comparativamente sem poder na sociedade. Parece claro que alguns dos
direitos protegidos na CDC não são relevantes, ou são menos relevantes, para adultos com plena capacidade legal e, portanto,
tendem a figurar nas convenções gerais de direitos humanos. Estes incluem o princípio dos melhores interesses em
Artigo 3; o direito à proteção e assistência especial para crianças privadas de seu ambiente familiar em
Artigo 20; o direito ao desenvolvimento nos termos do Artigo 6; e uma gama de direitos nos Artigos 7-12, incluindo o direito de
nome e nacionalidade, preservação da identidade, direito de manter contato com os pais e direito de
expressar opiniões sobre todos os assuntos que afetem a criança. Desta forma, a CDC não apenas reafirma que as crianças desfrutam
os mesmos direitos dos adultos, mas complementa os direitos concedidos aos adultos com importantes direitos específicos da criança.
Transversais à CDC como um todo, estão quatro princípios gerais que foram identificados pelo Comitê da
Direitos da Criança (doravante 'o Comitê CRC'): o direito à vida, sobrevivência e desenvolvimento (Artigo 6);
não discriminação (Artigo 2); que o melhor interesse das crianças deve ser uma consideração primordial em todos os assuntos
que os afetem (artigo 3.º) e o direito das crianças a participar
nas decisões que os afetem (artigo 12.º).35
28 Van Bueren, Geraldine, A lei internacional sobre os direitos da criança, Dordrecht, Martinus Nijhoff Publishers,
1995, xx.
vol. 23, 310.
vol. 23, 309.
31 O'Mahony, Conor, Proteção Constitucional dos Direitos da Criança: Visibilidade, Agência e Exigibilidade (janeiro
28, 2019). (2019) 19 Human Rights Law Review, a ser publicado, disponível em SSRN:
https://ssrn.com/abstract=3324280 ou http://dx.doi.org/10.2139/ssrn.3324280
32 Eugeen Verhellen, 'A Convenção sobre os Direitos da Criança: Reflexões a partir de uma política histórica, social e
perspectiva educacional' em Wouter Vanderhole (ed), Routledge International Handbook of Children's Rights Studies
(Oxford: Routledge, 2015) em 43.
33 id. em 48. Ver também Adam Lopatka, 'Introduction' in Legislative History of the Convention on the Rights of the Child
(Nova York/Genebra: Nações Unidas, 2007) em xxxvii, disponível em http://
www.ohchr.org/Documents/Publications/LegislativeHistorycrc1en.pdf. Para uma visão cética da estratégia de
fornecer às crianças 'direitos especiais' em vez de confiar em garantias gerais de direitos, consulte James G.
Dwyer, 'Inter-Country Adoption and the Special Rights Fallacy' (2013) University of Pennsylvania Journal of International
Law 189 em 198-208.
34 Para uma discussão sobre os três Ps e como eles interagem com os quatro princípios gerais da CDC, consulte
Verhellen, supra em 49-50.
35 Comitê dos Direitos da Criança, Comentário Geral nº 5 (2003): Medidas gerais de implementação da Convenção sobre os
Direitos da Criança, CRC/GC/2003/5, 27 de novembro de 2003, parágrafo 12.
6
As constituições nacionais adotam abordagens diferentes para a proteção dos direitos da criança. O Comitê do CRC
estabelece o que descreve como uma abordagem dos direitos da criança, definida no Comentário Geral nº 13 como: Uma abordagem dos direitos da criança
abordagem é aquela que promove a realização dos direitos de todas as crianças, conforme estabelecido na Convenção por
desenvolver a capacidade dos portadores de deveres para cumprir suas obrigações de respeitar, proteger e cumprir direitos (art. 4) e
a capacidade dos titulares de direitos para reivindicar os seus direitos, guiados em todos os momentos pelos direitos à não discriminação (art. 2),
consideração do melhor interesse da criança (art. 3, parágrafo 1), vida, sobrevivência e desenvolvimento (art. 6), e
respeito pelas opiniões da criança (art. 12). As crianças também têm o direito de serem dirigidas e orientadas no exercício
dos seus direitos por cuidadores, pais e membros da comunidade, de acordo com a evolução das capacidades das crianças (art. 5).
Esta abordagem dos direitos da criança é holística e enfatiza o apoio aos pontos fortes e recursos da criança
a si mesmo e a todos os sistemas sociais dos quais a criança faz parte: família, escola, comunidade, instituições, religião
36
e sistemas culturais.
Além disso, o Comitê enfatizou no Comentário Geral nº 5 que não basta a lei dizer que
crianças têm direitos de acordo com as linhas estabelecidas acima: deve dar sentido a esses direitos, fornecendo um meio para
sua execução:
Para direitos
implícitatêm
a Convenção
significado,e remédios
consistentemente referida,
efetivos devem a outra
estar exigência
disponíveis estácompensar violações. Esse
para
em seis principais
tratados internacionais de direitos humanos. O status especial e dependente das crianças cria
dificuldades para eles em buscar soluções para violações de seus direitos. Então, os Estados precisam dar
atenção especial para garantir que existam procedimentos eficazes e sensíveis às crianças disponíveis
às crianças e seus representantes. 37
38
Mais do que um documento internacional vinculante, a Convenção é um marco ético e legal para avaliar
progressos ou retrocessos dos estados em questões de interesse particular para as crianças.39 Por causa do recente crescimento exponencial
36 Comitê dos Direitos da Criança, Comentário Geral nº 13: Artigo 19: o direito da criança à liberdade
de todas as formas de violência, CRC/C/GC/13, 18 de abril de 2011, parágrafo 59.
37 Comitê dos Direitos da Criança, Comentário Geral nº 5: Medidas gerais de implementação do
Convenção sobre os Direitos da Criança, CRC/GC/2003/5, 27 de novembro de 2003, parágrafo 24.
38 Veja, por exemplo, McGee, Robert W., Abolishing Child Labour: Some Overlooked Ethical Issues (20 de maio de 2016).
Disponível em SSRN: https://ssrn.com/abstract=2782715 ou http://dx.doi.org/10.2139/ssrn.2782715 ( Sob um
regime de direitos, qualquer ato ou política que viole os direitos de alguém é automaticamente rotulado como antiético). Veja também
Mousin, Craig B., Os direitos desaparecem quando a política dos EUA envolve crianças como armas de dissuasão (1º de janeiro
de 2019). AMA J Ética. 2019;21(1):E58-66. , Disponível em SSRN: https://ssrn.com/abstract=3317913 (“Embora os
Estados Unidos tenham fornecido orientação significativa na redação da Convenção sobre os Direitos da Criança (CRC),
nunca a ratificou. implicações dessas políticas de refugiados à luz do fracasso dos Estados Unidos em ratificar a CDC.
Ele primeiro examina o desenvolvimento da CDC e da lei internacional de refugiados. A seguir, lista algumas das novas
políticas e jurisprudência implementadas pelo Procurador-Geral Sessions em 2018 que levaram à detenção e separação de
crianças de suas famílias, minando as proteções legais para requerentes de asilo. A CDC exige que os governos examinem os
melhores interesses das crianças que buscam o status de refugiado, mas as políticas federais impedem a consideração
desse objetivo. Além disso, embora a CDC exija proteção legal adequada para crianças, as políticas atuais negligenciam esse
objetivo e, em vez disso, criminalizam crianças e famílias antes de receberem assistência ou representação legal. Tais
políticas exacerbam o trauma das crianças que fogem da violência em sua terra natal e correm o risco de fugir. Este artigo
levanta questões éticas, incluindo se juízes e advogados do governo devem participar de procedimentos legais quando
crianças pequenas parecem não estar representadas. O fracasso em ratificar a CDC em conjunto com essas novas políticas
de dissuasão prejudica as proteções legais para crianças em todo o mundo.”)
39 Ver, por exemplo, Meier, Benjamin Mason e Motlagh, Mitra e Rasanathan, Kumanan, The United Nations
Children's Fund: Implementing Human Rights for Child Health (26 de abril de 2018). Direitos humanos na saúde global:
governança baseada em direitos para um mundo globalizado (Oxford University Press 2018), disponível em SSRN: https://
ssrn.com/abstract=3214766; Veja em geral UNICEF “State of the World's Children” 2019 disponível em
7
avanço das tecnologias baseadas em inteligência artificial, a atual estrutura internacional que protege
direitos da criança, assim como as estruturas locais, não abordam explicitamente muitas das questões levantadas pelo
desenvolvimento e uso de inteligência artificial.40
A IA afeta as crianças
A IA afeta as crianças. Eles são expostos a algoritmos em casa, na escola e no lazer. Algoritmos moldam o
ambientes em que vivem, os serviços aos quais têm acesso e como gastam seu tempo. Crianças brincam
com brinquedos inteligentes interativos, eles assistem a vídeos recomendados por algoritmos, usam comandos de voz para controlar seus
telefones e usar algoritmos de manipulação de imagem para se divertir nas mídias sociais.
A presença da IA na vida das crianças levanta muitas questões. É aceitável usar algoritmos de recomendação
com crianças ou fornecer um brinquedo interativo se a criança não conseguir entender que está lidando com um
computador? Como os pais devem ser aconselhados sobre o possível impacto de brinquedos baseados em IA no desenvolvimento cognitivo?
desenvolvimento de uma criança? O que as crianças devem aprender sobre IA nas escolas para terem uma
compreensão da tecnologia ao seu redor? Em que ponto uma criança deve ter o direito de decidir sobre
os consentimentos envolvidos? Por quanto tempo os dados devem ser armazenados?
Como o UNICEF e outras organizações enfatizam, devemos prestar atenção especial às crianças e à evolução de
Tecnologia de IA de forma que os direitos e necessidades específicos das crianças sejam reconhecidos. O potencial impacto de produtos artificiais
inteligência em crianças merece atenção especial, dadas as vulnerabilidades aumentadas das crianças e os numerosos
papéis que a inteligência artificial desempenhará ao longo da vida dos indivíduos nascidos no século XXI.
O CRC identifica vários direitos implicados pelas tecnologias de IA
A CRC identifica vários direitos implicados pelas tecnologias de IA 41 e, portanto, fornece um ponto de partida importante
para qualquer análise de como os direitos das crianças podem ser afetados positiva ou negativamente42 pelas novas tecnologias.43 Desde
https://www.unicef.org/reports/state-of-worlds-children-2019 e https://www.unicef.org/reports/state-of-worlds-children
40 UNICEF, IA para crianças, https://www.unicef.org/globalinsight/featured-projects/ai-children (Recente

Espera-se que o progresso no desenvolvimento de sistemas de inteligência artificial (IA), quantidades sem precedentes de dados
para treinar algoritmos e o aumento do poder de computação tenham um impacto profundo na vida e no trabalho no século
21, aumentando as esperanças e preocupações para o desenvolvimento humano. No entanto, apesar do crescente interesse na IA,
pouca atenção é dada a como isso afetará as crianças e seus direitos. Veja também https://
www.unicef.org/innovation/GenerationAI e https://www.weforum.org/projects/generation-ai
41 Verdoodt, Valerie, O papel dos direitos das crianças na regulamentação da publicidade digital (2019). Internacional
Journal of Children's Rights, 27 (3), 455-481, 2019, doi: 10.1163/15718182-02703002., Available at SSRN: https://ssrn.com/
abstract=3703312 or http://dx.doi.org/10.2139/ssrn.3703312 (“An important domain in which children's rights are reconfigured
by internet use, is digital advertising. New advertising formats such as advergames, personalized and native advertising have
permeated the online environments in which children play, communicate and search for information. The often immersive,
interactive and increasingly personalized nature of these advertising formats makes it difficult for children to recognize and
make informed and well-balanced commercial decisions. This raises particular issues from a children's rights perspective,
including inter alia their rights to development (Article 6 UNCRC), privacy (Article 16 UNCRC), protection against economic
exploitation (Article 32 UNCRC), freedom of thought (Article 17 UNCRC) and education (Article 28 UNCRC). The paper addresses
this reconfiguration by translating the general principles and the provisions of the United Nations Convention on the Rights of
the Child into the specific context of digital advertising. Além disso, considera as diferentes dimensões dos direitos (ou seja,
proteção, participação e provisão) e como a comercialização afeta as crianças e como seus direitos são exercidos.”)
42 Lievens, Eva, "Uma perspectiva dos direitos das crianças sobre a responsabilidade dos provedores de sites de redes sociais",
25ª Conferência Regional Europeia da Sociedade Internacional de Telecomunicações (ITS), Bruxelas, Bélgica, 2014. https://
www.econstor.eu/bitstream/10419/101441/1/795276834.pdf
43 Veja, por exemplo, Livingstone, Sonia, John Carr e Jasmina Byrne, "One in Three: Internet Governance and
Children's Rights", Paper Series Center for International Governance Innovation e o Royal Institute of
8
desde a criação da CRC, foi aceito em todo o mundo que as crianças têm direito a uma série de
direitos fundamentais importantes no meio mediático, a liberdade de expressão (artigo 13.º da CDC) e a
direito à privacidade (artigo 16.º da CDC). Ao mesmo tempo, às vezes as crianças precisam ser protegidas, por exemplo, de
conteúdo ou comportamento que possa prejudicá-los (art. 17, infra, art. 19 ÿ relativo à proteção contra todas as formas de
violência ÿ e artigo 34 ÿ relativo à proteção contra a exploração sexual ÿ CDC).
O Artigo 13 confirma a versão específica da criança44 do direito à liberdade de expressão45“que inclui a liberdade
buscar, receber e difundir informações e ideias de toda espécie, independentemente de fronteiras, oralmente, por escrito ou
impressa, em forma de arte, ou por qualquer outro meio de escolha da criança”.46 Este direito fundamental só pode
ser restringido se isso for previsto por lei e necessário “para o respeito dos direitos ou reputação de outros, ou para o
proteção da segurança nacional ou da ordem pública, ou da saúde ou moral públicas” (parágrafo 2). O artigo tem uma ampla
escopo de aplicação, que certamente se estende à internet, bem como a qualquer outro meio (futuro). Recentemente, o
O Comitê dos Direitos da Criança da ONU enfatizou que a medida crescente em que informações e
tecnologias de comunicação são uma dimensão central na vida das crianças implica que o acesso (igual) ao
internet e mídias sociais para eles é crucial, também para a realização de outros direitos intimamente ligados ao direito de
liberdade de expressão, como o direito ao lazer, jogo e cultura (artigo 31 CRC).47
Igualmente importante é o direito da criança à privacidade, formulado no artigo 16.º da CRC.48De acordo com este artigo, as crianças
não pode estar sujeito a qualquer interferência arbitrária ou ilegal – por parte de autoridades estatais ou de terceiros (p.
organizações)49 – com sua privacidade, família, domicílio ou correspondência, nem a atentados ilícitos à sua honra e
reputação. Além disso, afirma-se claramente que a lei deve proteger a criança contra tal interferência. O certo
International Affairs, 2015, 22. https://www.unicef-irc.org/publications/795-one-in-three-internet governance-and-

childrens-rights.html (“Normalmente, nas discussões sobre o uso da Internet, as crianças
são reconhecidos apenas no contexto da proteção da criança, enquanto seus direitos de provisão e participação são
negligenciados. Este artigo argumenta especificamente contra uma abordagem de idade genérica (ou 'cega') para
'usuários', porque as crianças têm necessidades e direitos específicos que não são atendidos por regimes de
governança projetados para 'todos'. A política e a governança devem agora garantir os direitos das crianças de acessar e
usar a mídia digital e considerar como a implantação da Internet pela sociedade em geral pode melhorar os direitos das
crianças em todos os setores. O documento termina com seis conclusões e recomendações sobre como incorporar o
reconhecimento dos direitos da criança nas atividades e políticas das instituições internacionais de governança da Internet.”)
44 Kilkelly, Ursula, “O melhor dos dois mundos para os direitos das crianças? Interpretação da Convenção Europeia sobre
Direitos humanos à luz da Convenção das Nações Unidas sobre os Direitos da Criança”, Human Rights Quarterly 2001, vol.
23, 311.
45 Artigos semelhantes são o artigo 19 da Declaração Universal dos Direitos Humanos, o artigo 19 do Pacto Internacional de
Direitos Civis e Políticos e artigo 10.º da Convenção Europeia dos Direitos do Homem e das Liberdades Fundamentais.
46 O Comitê dos Direitos da Criança das Nações Unidas enfatizou que não é suficiente apenas incluir o direito 'geral' à liberdade
de expressão aplicável a todos na constituição de um país. É necessário, segundo o Comitê, também incorporar
expressamente na legislação o direito da criança à liberdade de expressão. Veja, por exemplo: Comitê dos Direitos
da Criança das Nações Unidas, Diretrizes Gerais para Relatórios Periódicos, CRC/C/58, 20.11.1996, http://www.unhchr.ch/
tbs/doc.nsf/(Symbol)/CRC.C.58.En?Opendocument: “Pede-se
aos Estados Partes que forneçam informações sobre as medidas adotadas para assegurar que os direitos civis e as
liberdades das crianças estabelecidos na Convenção, em particular aqueles cobertos pelos artigos 7, 8, 13 a 17 e 37 (a),
são reconhecidos por lei especificamente em relação às crianças e implementados na prática, inclusive por órgãos
administrativos e judiciais, nos níveis nacional, regional e local e, quando apropriado, nos níveis federal e provincial”.
47 Comitê dos Direitos da Criança das Nações Unidas, Comentário Geral nº 17 (2013) sobre o direito da criança ao descanso,
lazer, brincadeiras, atividades recreativas, vida cultural e artística (art. 31), UN Doc. CRC/C/GC/17, 2013, n° 45.
48 Esta é uma 'tradução' específica para crianças do direito geral à privacidade, que é concedido a todos, inter alia,
artigo 12 Declaração Universal dos Direitos Humanos, artigo 17 Pacto Internacional sobre Direitos Civis e Políticos
Direitos Humanos e artigo 8.º da Convenção Europeia dos Direitos do Homem e das Liberdades Fundamentais
49 Hodgkin, Rachel e Newell, Peter, Manual de Implementação da Convenção sobre os Direitos da Criança,
Nova York, UNICEF, 2002, 216.
9
50
à privacidade dirige-se à própria criança e deve ser protegida em todas as situações. No ambiente on-line,
questões de privacidade podem, por exemplo, surgir em relação a mecanismos de identificação ou em relação à coleta
dos seus dados pessoais pelos prestadores de serviços. Além disso, monitorar o uso da internet por uma criança pode ser considerado
em conflito com o direito da criança à privacidade. Finalmente, os pais não podem, de acordo com o artigo 16, interferir
correspondência de seus filhos. Não há razão para limitar a aplicação deste artigo à correspondência 'em papel',
portanto, o monitoramento de conversas por e-mail também pode entrar em conflito com o direito da criança à privacidade.
Outro artigo crucial no que diz respeito a conteúdos e serviços de mídia é o artigo 17 CRC.51 Este artigo exige que os estados
garantir que as crianças tenham acesso a “informações e materiais de uma diversidade de
fontes, especialmente aquelas destinadas à promoção de seu bemÿestar social, espiritual e moral e
e saúde mental”,52 uma vez que o acesso a uma ampla diversidade de informações é pré-requisito para o exercício de outras
direitos fundamentais, principalmente o direito à liberdade de expressão. Os Estados são, assim, incitados a buscar uma
política proativa que estimula o potencial cultural, educativo e informativo dos meios de comunicação
crianças. Ao mesmo tempo, o artigo 17.º da CDC também encoraja o desenvolvimento de orientações para proteger as crianças
de material nocivo. Por um lado, a internet e outras novas tecnologias de mídia permitem que as crianças
acessar uma enorme variedade de material educacional53 e oportunidades culturais, como “ferramentas poderosas que podem ajudar a
atender aos direitos da criança sob a CDC (por exemplo, à participação, informação e liberdade de expressão)”.54
O Comitê dos Direitos da Criança expressou preocupação com o fato de que essas tecnologias também diminuíram o
limiar de acesso a material ilegal e nocivo. O Comitê também indicou preocupação com a medida em que
quais o acesso à internet e às mídias sociais levam à exposição ao cyberbullying, pornografia e
cybergrooming.55
Nova York, UNICEF, 2002, 213; Meuwese, Stan, Blaak, Mirjam e Kaandorp, Majorie (eds),
51 O Tribunal Europeu de Justiça também se referiu a este artigo em um caso relativo a conteúdo prejudicial potencial de
novas mídias: ECJ, Dynamic Medien v. Avides Media AG, Cÿ244/06, 14.02.2008, par. 40.
52 Uma discussão geral sobre 'A criança e a mídia' foi realizada pelo Comitê dos Direitos da Criança em 7 de outubro de
1996. Um relatório dessa discussão foi incluído no Relatório da décima terceira sessão: Comitê das Nações Unidas
sobre os Direitos da Criança, Relatório da décima terceira sessão, CRC/C/57, 31.10.1996, http://www.unhchr.ch/
tbs/doc.nsf/
898586b1dc7b 4043c1256a450044f331/5a7331a09a8b4f3fc1256404003d1
0bd/$FILE/G9618895.pdf. Após esta discussão, foi constituído um Grupo de Trabalho informal (CRC/C/57, p.
45). Este Grupo de Trabalho reuniu-se duas vezes (cf. Comitê dos Direitos da Criança das Nações Unidas, CRC/C/
66, 06.06.1997, http://www.unhchr.ch/tbs/doc.nsf/898586b1dc7b4043c1256a450044f331/
b27bf9857a55819d802564f3003b10ee/$FILE/G9717203.pdf, 51; Comitê dos Direitos da Criança das Nações Unidas, CRC/C/
79, 27.07.1998, http://www.unhchr.ch/
tbs/doc.nsf/898586b1dc7b4043c1256a450044f331/
a505a81ff8dcaf89802566d6003b6298/$FILE/G9817376.pdf, 46) e também esteve envolvido com o desenvolvimento
do 'Desafio de Oslo', um apelo à ação dirigido a “todos os envolvidos na exploração, desenvolvimento,
monitoramento e participação na complexa relação entre as crianças e a mídia”. Este documento elabora maneiras de
implementar efetivamente os artigos 12, 13 e especialmente 17 da CDC: “O desafio de Oslo sinaliza aos governos,
à mídia, ao setor privado, à sociedade civil em geral e aos jovens em particular que o Artigo 17 da Convenção sobre os
Direitos da Criança, longe de isolar a relação criança/mídia, é
um ponto de entrada para o mundo amplo e multifacetado das crianças e seus direitos – educação, liberdade de
expressão, diversão, identidade, saúde, dignidade e respeito próprio, proteção – e que em todos os aspectos dos
direitos da criança, em todos os elementos da vida de uma criança, o relacionamento com as crianças e a mídia
desempenha um papel importante” (http://www.mediawise.org.uk/files/uploaded/Oslo%20Challenge.pdf).
53 O Artigo 17 (a) enfatiza a importância da divulgação de informações e materiais de interesse social e cultural para a
criança e de acordo com o espírito do artigo 29, que diz respeito à educação.
54 Ruxton, Sandy, e quanto a nós? Os direitos das crianças na União Europeia? Próximos Passos, Bruxelas, The European
Rede Infantil, 2005, 109.
55 Comitê dos Direitos da Criança das Nações Unidas, Comentário Geral nº 17 (2013) sobre o direito da criança ao
descanso, lazer, brincadeiras, atividades recreativas, vida cultural e artística (art. 31), UN Doc. CRC/C/GC/17, 2013, n°
46. https://www.refworld.org/docid/51ef9bcc4.html (“O Comitê está preocupado com o
10
O Family Online Safety Institute56 (“FOSI”) Global Resource and Information Directory (GRID) foi "projetado para
criar uma fonte única, factual e atualizada para governos, indústria, advogados, acadêmicos, educadores
e todos aqueles que se dedicam a tornar a Internet um lugar melhor e mais seguro".57
Um perfil de segurança on-line para a maioria dos países está disponível, dividido em seções detalhando os dados básicos do perfil do país;
uma visão geral da segurança online no país; ponteiros para pesquisas relacionadas; o sistema educacional (este é realmente um
breve perfil do uso das TIC na educação -- muito útil!); legislação; organizações atuantes nesta área no país;
e uma lista de fontes de informação.
Argumentou-se que a palavra 'directrizes', utilizada no artigo 17.º da CDC, indica uma preferência por voluntários, em vez de
do que restrições legislativas.58 No entanto, o Comitê dos Direitos da Criança tem em uma de suas observações
recomendou “promulgar legislação especial para proteger as crianças de informações prejudiciais, em particular de
59 Esta atitude não é
programas de televisão e filmes contendo violência brutal e pornografia” (grifo próprio).
crescente corpo de evidências indicando até que ponto esses ambientes, bem como a quantidade de tempo
que as crianças passam interagindo com eles, também pode contribuir para riscos e danos potenciais significativos para as crianças.
UNICEF, Segurança Infantil Online: Desafios e Estratégias Globais. Relatório técnico (Florença, Innocenti Research
Centre, 2012). Por exemplo: - O acesso à Internet e às redes sociais expõe as crianças ao cyberbullying, à pornografia
e ao cybergrooming. Muitas crianças frequentam cibercafés, clubes de informática e salões de jogos sem restrições
adequadas de acesso ou sistemas de monitoramento eficazes; - Os níveis crescentes de
a participação, particularmente entre os meninos, em videogames violentos parece estar ligada ao comportamento agressivo como
os jogos são altamente envolventes e interativos e recompensam o comportamento violento. Como eles tendem a ser
tocados repetidamente, o aprendizado negativo é fortalecido e pode contribuir para reduzir a sensibilidade à dor e ao
sofrimento dos outros, bem como para comportamentos agressivos ou nocivos em relação aos outros. As crescentes
oportunidades de jogos online, onde as crianças podem ser expostas a uma rede global de usuários sem filtros ou
proteções, também são motivo de preocupação. - Grande parte da mídia, especialmente a televisão convencional, falha
em refletir a linguagem, os valores culturais e a criatividade da diversidade de culturas que existem na sociedade. Essa
visão monocultural não apenas limita as oportunidades para que todas as crianças se beneficiem da amplitude potencial da
atividade cultural disponível, mas também pode servir para afirmar um valor menor em culturas não convencionais. A televisão
também está contribuindo para a perda de muitas brincadeiras infantis, canções, rimas tradicionalmente transmitidas de
geração em geração na rua e no parquinho; - Acredita-se que a crescente dependência de atividades relacionadas à tela
esteja associada a níveis reduzidos de atividade física entre crianças, padrões de sono ruins, níveis crescentes de
obesidade e outras doenças relacionadas. Veja também o comentário 47.” Marketing e comercialização
de brincadeiras: O Comitê está preocupado com o fato de que muitas crianças e suas famílias estão expostas a níveis
crescentes de comercialização e marketing não regulamentados por fabricantes de brinquedos e jogos. Os pais são
pressionados a comprar um número cada vez maior de produtos que podem prejudicar o desenvolvimento de
seus filhos ou ser contrários às brincadeiras criativas, como produtos que promovem programas de televisão com
personagens e enredos estabelecidos que impedem a exploração imaginativa; brinquedos com microchips que tornam
a criança um observador passivo; kits com um padrão de atividade pré-determinado; brinquedos que promovam
estereótipos tradicionais de gênero ou sexualização precoce de meninas; brinquedos contendo peças ou produtos químicos
perigosos; brinquedos e jogos de guerra realistas. O marketing global também pode servir para enfraquecer a
participação das crianças na vida cultural e artística tradicional de sua comunidade”.
56 https://www.fosi.org/about-fosi O Family Online Safety Institute é uma organização internacional sem fins lucrativos
que trabalha para tornar o mundo online mais seguro para crianças e suas famílias. Eu ia.
57 https://fosigrid.org/
Nova York, UNICEF, 2002, 236. Ver também: Comitê das Nações Unidas sobre os Direitos da Criança, Relatório sobre o
décima terceira sessão, CRC/C/57, 31.10.1996, obtido em http://
www.unhchr.ch/tbs/doc.nsf/898586b1dc7b4043c1256a450044f331/5a7331a09a8b4f3fc1256404003d1
0bd/$FILE/G9618895.pdf (em 22.09.2006), 44.
59 Comitê dos Direitos da Criança das Nações Unidas, Observações finais do Comitê dos Direitos da Criança: Camboja, CRC/
C/15/Add.128, 28.06.2000, extraído de http://www.unhchr.ch/tbs/doc.nsf/(Symbol)/
30dce34798ef39f480256900003397ac?Opendocument ( em 27.09.2006), par. 36; Comitê dos Direitos da Criança das
Nações Unidas, Observações finais do
11 Cópia eletrônica disponível em: https://ssrn.com/abstract=3882296

limitado à mídia tradicional: o Comitê também está preocupado com a mídia online.60 Recentemente, tem sido
argumentou que há confusão sobre o escopo do artigo 17 e) (em parte criado pelo Comitê das Nações Unidas
sobre os Direitos da Criança).
O escopo deste parágrafo não diz respeito à proteção de crianças contra materiais nocivos pelos Estados
eles mesmos.61 Esta tarefa particular do Estado está incluída no escopo de outros artigos (como o artigo 6 da CDC,
relacionadas com a protecção e cuidados necessários ao bem-estar de cada criança) e que o artigo 17.º e) apenas
diz respeito ao incentivo de outros atores, como a indústria, para desenvolver as diretrizes mencionadas neste
parágrafo.62
O artigo 17.º também se refere ao artigo 18.º da CDC. Isso lembra a responsabilidade primária dos pais pela educação e
desenvolvimento da criança.63 No entanto, de acordo com o artigo 18 par. 2, os Estados devem “prestar assistência apropriada
aos pais e responsáveis legais no desempenho de suas responsabilidades de educação dos filhos”. Um exemplo disso
'assistência' ou, de outra forma, o 'dever de cuidado' do estado, poderia ser o fornecimento de informações adequadas por
Declara aos pais sobre o conteúdo de mídia ao qual seus filhos podem ser expostos.64
Comitê dos Direitos da Criança: Ilhas Marshall, CRC/C/15/Add.139, 16.10.2000, extraído de http://
www.unhchr.ch/tbs/doc.nsf/(Symbol)/e91ea24ff52b434ac125697a00339c0c?Opendocument (em 27.09.2006),
par. 34-35.
60 “O Comitê está preocupado com o fato de não existir legislação para proteger as crianças de serem expostas à
violência e à pornografia por meio de filmes em vídeo e outras tecnologias modernas, principalmente a
Internet”: Comitê dos Direitos da Criança das Nações Unidas, Observações finais do Comitê dos Direitos da
Criança: Luxemburgo, CRC/C/15/Add.92, 24.06.1998, http://
www.unhchr.ch/tbs/doc.nsf/(Symbol)/622 58a94c261c9318025662400376374?Opendocument, par.
30.2 “O Comitê está preocupado com o fato de não existir legislação para proteger as crianças de serem
expostas à violência e à pornografia por meio de filmes de vídeo e outras tecnologias modernas,
principalmente a Internet”: Comitê dos Direitos da Criança das Nações Unidas, Observações finais do Comitê
dos Direitos da Criança: Luxemburgo, CRC/C/15/Add.92, 24.06.1998, http://
www.unhchr.ch/tbs/doc.nsf/(Símbolo)/6 2258a94c261c9318025662400376374?Opendocument, para. 30.
61 “O Artigo 17 não deve ser um veículo para o controle estatal do conteúdo: o Artigo 17 não exige ou autoriza a
censura estatal do conteúdo das comunicações de mídia de massa”; Wheatley Sacino, Sherry, Artigo 17 Acesso
a uma diversidade de fontes de mídia de massa, Um comentário sobre a Convenção das Nações Unidas sobre os Direitos da Cria
Leiden, Martinus Nijhoff Publishers, 2012, 30.
62 id.
63 O Artigo 5 também é relevante quando se trata de conteúdo nocivo. O artigo 5.º refere-se às responsabilidades,
direitos e deveres dos pais (ou outras pessoas legalmente responsáveis pela criança), de oferecer, de forma
compatível com a evolução das capacidades da criança, direção e orientação adequadas no exercício dos seus
direitos. Esta disposição pode ser interpretada como implicando que os pais têm a responsabilidade de apoiar
seus filhos em sua abordagem às novas mídias. A Assembleia Geral das Nações Unidas também abordou as
“
responsabilidades dos pais e outros. a este respeito: Incentivar medidas para proteger as crianças de sites
violentos ou nocivos, programas de computador e jogos que influenciam negativamente o
desenvolvimento psicológico das crianças, levando em conta as responsabilidades da família, pais, tutores
legais e cuidadores” (Assembléia Geral das Nações Unidas, Resolução A world fit for children, A/RES/S-27/2, 11.10.2002,
http://www.unicef.org/specialsession/docs_new/documents/AÿRESÿS27ÿ2E.pdf, 16). Em última análise, os pais
ou outros cuidadores são as únicas pessoas que poderão monitorar o uso real da mídia por seus filhos.
Nova York, UNICEF, 2002, 236. Sacino considera que essa referência evita deliberadamente esclarecer a relação
entre o papel dos Estados e o papel dos pais na proteção dos jovens contra a mídia prejudicial
conteúdo, porque não foi possível encontrar um consenso sobre a divisão dessa responsabilidade:
Wheatley Sacino, Sherry, Artigo 17 Acesso a uma diversidade de fontes de mídia de massa, Um comentário sobre
a Convenção das Nações Unidas sobre os Direitos da Criança, Leiden, Martinus Nijhoff Publishers, 2012, 31.
12
IA e o Padrão dos Direitos da Criança por Design (CRbD)
Assim como foi argumentado com sucesso por meio de inúmeros estudos e princípios em todo o mundo, a IA deve ser
fundamentado no design centrado no ser humano65 o design, desenvolvimento e fornecimento de IA, que pode direta ou indiretamente,
afetam as crianças devem sempre colocar os direitos e os melhores interesses dos usuários infantis em primeiro lugar. IA que direta ou indiretamente
impacta as crianças, inclusive nos processos educativos.66 deve sempre priorizar os direitos e interesses das crianças.
Existe um dever legal e ético de respeitar e proteger os direitos da criança por parte dos Estados e atores privados,
incluindo empresas de tecnologia, no design, desenvolvimento e fornecimento de qualquer tecnologia, produto ou serviço de IA. Em
nesse sentido, a norma Children's Rights by Design (CRbD) deve ser sempre considerada e aplicada.
As crianças, conforme reconhecido pela CDC e outras normas legais nacionais, vivenciam uma fase única de desenvolvimento físico,
desenvolvimento psicológico e social, com capacidades evolutivas e, portanto, devem ser especialmente protegidos,
zelar pela garantia prioritária de seus direitos, sejam quais forem as circunstâncias, sejam familiares, estatais e
sociedade ou empresas.
Os sistemas de IA devem promover os direitos das crianças e apoiar seu desenvolvimento em todo o mundo, é essencial
manter uma perspectiva crítica, para manter um ser humano informado para avaliar os riscos e benefícios da IA. Como indicado pela
O UNICEF em seu primeiro rascunho de Orientação Política sobre IA:
"Emboraa IA seja
a uma força para a inovação e possa apoiar a conquista dos Objetivos de Desenvolvimento Sustentável
(ODS), também àapresenta
sua privacidade, segurança
riscos para e proteção.
as crianças, comocomo Como os sistemas de IA podem funcionar
despercebido e em grande escala, o riscode exclusão e discriminação generalizada é real." 67
IA para crianças é qualquer IA que impacta direta ou indiretamente as crianças Embora a população de crianças impactadas
por sistemas de IA é significativo - eles representam 1/3 dos usuários em todo o mundo somente na Internet (sem contabilizar
para a IA aplicada massivamente em escolas, cidades e outros espaços) - a grande maioria das iniciativas de políticas de IA que
existentes ao redor do mundo dificilmente os mencionam ou quando o fazem, limitam-se a citações amplas, sem detalhes
ou considerações mais profundas sobre suas particularidades. Não tratam, por exemplo, dos possíveis usos de
análise preditiva ou outros tipos de modelagem algorítmica que podem fazer determinações sobre o futuro de
crianças, causando-lhes consequências imprevisíveis.68
Isso demonstra a imensa urgência de expandir o estudo das implicações da IA em múltiplos

infâncias, inclusive entre crianças no Sul Global, em que a acessibilidade à internet
65 Design Alinhado: Uma Visão para Priorizar o Bem-Estar Humano com Sistemas Autônomos e Inteligentes,
Versão 2. IEEE, 2017. http://standards.ieee.org/develop/indconn/ec/autonomous_systems.htm; ver também Yeung, Karen e Howes,
Andrew e Pogrebna, Ganna, AI Governance by Human Rights-Centred Design, Deliberation and Oversight: An End to Ethics Washing
(21 de junho de 2019). A ser publicado em M Dubber e F Pasquale (eds.) The Oxford Handbook of AI Ethics, Oxford University
Press (2019), disponível em SSRN: https://ssrn.com/abstract=3435011 ou http://dx.doi.org/10.2139/ssrn.3435011 e Kazim, Emre
e Koshiyama, Adriano, Human Centric AI: A Comment on the IEEE's Eth Design icamente alinhado (13 de abril de 2020 ) .
Disponível em SSRN: https://ssrn.com/abstract=3575140 ou http://dx.doi.org/10.2139/ssrn.3575140

67 UNICEF, Resumo Executivo, Orientação de Políticas sobre IA para Crianças - Rascunho 01, setembro de 2020. Disponível https://
www.unicef.org/globalinsight/media/1171/file/UNICEF-Global-Insight-policy-guidance-AI-children draft-1.0-2020.pdf
68 Alexa Hasse, Sandra Cortesi, Andres Lombana-Bermudez e Urs Gasser. Youth and Artificial Intelligence: Where We Stand (2019),
disponível em https://cyber.harvard.edu/publication/2019/youth-and-artificial intelligence/where-we-stand
13
está muitas vezes condicionado a modelos de exploração comercial, para algumas aplicações e serviços 69, todos abundantes
em decisões automatizadas.
Um dos poucos documentos sobre esse assunto é o primeiro rascunho do Policy Guidance on AI for Children, recentemente
lançado pela UNICEF, que estabeleceu nove requisitos para uma IA centrada na criança, que deve ser baseada no
defesa dos direitos da criança, através da lente proteção, prestação e participação. São eles: (1) Suporte
desenvolvimento e bem-estar das crianças; (2) Assegurar a inclusão de e para as crianças; (3) Priorizar a justiça e a não discriminação
para crianças; (4) Proteger os dados e a privacidade das crianças; (5) Garantir a segurança das crianças; (6) Fornecer
transparência, explicabilidade e responsabilidade para as crianças; (7) Capacitar governos e empresas com
conhecimento da IA e dos direitos das crianças; (8) Preparar as crianças para desenvolvimentos presentes e futuros em IA; (9)
Crie um ambiente propício para que todos contribuam para a IA centrada na criança.70
Tendo em vista a multiplicação transfronteiriça de sistemas de IA, incluindo aqueles que afetam as crianças, novos
iniciativas como a do UNICEF, pautadas pela ética e centradas no ser humano, serão de suma importância.
Sem dúvida, os sistemas de IA que afetam as crianças, direta ou indiretamente, também devem ser, como qualquer sistema de IA, primeiro e
acima de tudo, centrado no ser humano, como mencionado na Comissão Europeia, que procura promover uma IA confiável:
"
Os sistemas de IA precisam ser centrados no ser com um compromisso com sua utilização a serviço da humanidade
de e da
71
humano, repousando no bem comum, com o objetivo de melhorar o bem-estar e a liberdade humanos”.
Assim, além do desafio de harmonizar inovação, eficiência e liberdade de modelos de negócios com a
proteção dos direitos humanos, responsabilidade, explicabilidade e transparência dos sistemas de IA, há mais um:
encontrando um equilíbrio que garanta o melhor interesse das crianças e seus direitos específicos, em todas as aplicações que
não são proibidas e podem ser utilizadas por eles ou afetá-los, mesmo que indiretamente. E não apenas naquelas IA
aplicativos voltados especificamente para o uso e consumo de crianças72 - também como precaução contra possíveis
riscos a que possam estar sujeitos. A IA que pode afetar direta ou indiretamente as crianças deve assumir seus direitos e
interesses em primeiro lugar, além de garantir seu melhor interesse e ser centrado no ser humano. Isso significa que o melhor
interesse das crianças e seus direitos devem ser perseguidos com prioridade por todos os desenvolvedores de IA, mesmo que seus
produto ou serviço foi concebido para não ser usado por crianças ou afetá-las indiretamente à primeira vista.
Nesse sentido, esforços devem ser ampliados para democratizar os benefícios dos sistemas de IA para crianças, bem como para
mitigar possíveis riscos, especialmente em diferentes contextos e para o desenvolvimento infantil múltiplo em torno do
planeta.
Portanto, é essencial garantir os Direitos da Criança desde o Design de sistemas de IA que impactam as crianças, com base em
seu melhor interesse, para que a promoção dos direitos da criança, bem como sua proteção, seja efetiva, gerando
impactos positivos reais na vida das crianças, inclusive daquelas em situação de vulnerabilidade socioeconômica.
69 UN IGF, Net Neutrality Reloaded: Classificação Zero, Serviço Especializado, Bloqueio de Anúncios e Gerenciamento de Tráfego.
Relatório Anual da Coalizão Dinâmica IGF da ONU sobre Neutralidade da Rede. Disponível em:
https://bibliotecadigital.fgv.br/dspace/bitstream/handle/10438/17532/Net%20Neutrality%20Reloaded.pdf
70 UNICEF, Policy Guidance on AI for Children - Draft 01, September, 2020. Disponível em:
https://www.unicef.org/globalinsight/media/1171/file/UNICEF-Global-Insight-policy-guidance-AI-children draft-1.0-2020.pdf
71 A Comissão Europeia, ´Diretrizes de Ética para IA Confiável´, Grupo Independente de Especialistas de Alto Nível em
Inteligência Artificial, pág. 4. Disponível em https://
ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines 72 ICO, UK Age-
Appropriate Design Code, 2020: "Este código se aplica a "serviços da sociedade da informação com probabilidade de serem acessados
por crianças" no Reino Unido. Isso inclui muitos aplicativos, programas, brinquedos e dispositivos conectados, mecanismos de
pesquisa, plataformas de mídia social, serviços de streaming, jogos on-line, sites de notícias ou educacionais e sites que
oferecem outros bens ou serviços a usuários pela Internet. Não é restrito a serviços especificamente dirigido a
crianças". Disponível em https://ico.org.uk/for-
organizations/guide-to-data-protection/key-data-protection-themes/age-appropriate design-a-code-of-practice-for-online-services/
executive-summary/
14
IA e plataformas de mídia social infantil
As plataformas de mídia social que dependem de tecnologias de streaming estão mudando a forma como adultos e crianças consomem
conteudo de midia. As plataformas estão trabalhando duro para garantir que os consumidores maximizem seu tempo nesses sites.
O YouTube73 se destaca como o jogador dominante neste espaço, especialmente quando se trata da juventude de hoje. Em 2017,
74
80% das crianças americanas de 6 a 12 anos usam o YouTube diariamente. O YouTube foi o "top kids" de 2016 e 2017
brand” de acordo com estudos de Brand Love.75 No estudo de 2017, 96% das crianças de 6 a 12 anos foram
“conhecem o YouTube” e 94% das crianças de 6 a 12 anos disseram que “ou
amei ou gostei” do YouTube.76 O fenômeno do YouTube não está ocorrendo apenas nos Estados Unidos, pois o YouTube
bases massivas de usuários na Índia, Moscou, em toda a Europa e além.77
Assistir a videoclipes on-line está entre as primeiras atividades na Internet realizadas por crianças muito pequenas, resultando
em alta popularidade de canais do YouTube direcionados a crianças e pré-escolares.78 Por exemplo, Sesame do YouTube
O canal Street alcançou recentemente um bilhão de visualizações79 e um canal TuTiTu (propriedade de uma pequena empresa de animação
80 do YouTube
voltado para bebês e crianças pequenas) ficou em 40º lugar entre os 100 canais mais vistos do YouTube.
interface de usuário simples, que permite que até mesmo crianças pequenas prossigam para o próximo item da lista de reprodução e lhes oferece
fácil acesso aos vídeos favoritos que podem ser assistidos repetidamente, foi sugerido como a chave para sua
popularidade com o público muito jovem.81 Portanto, não é surpreendente que os produtores de conteúdo voltado para crianças e
crianças em idade pré-escolar logo descobriram o apelo do YouTube e começaram a usá-lo como uma importante plataforma de promoção de conteúdo por
82
upload de episódios completos ou clipes curtos de programas transmitidos em canais de televisão.
Além de oferecer uma ampla variedade de conteúdo produzido especificamente para crianças pequenas, o YouTube também
83
gerou novos formatos de entretenimento infantil que antes confundiam as pessoas fora de seu público-alvo.
As crianças pequenas parecem ser atraídas por determinados tipos de conteúdo, muitos dos quais são baseados em histórias em quadrinhos.
situações, como desafios (por exemplo, provar pimenta) e esquetes bobos (por exemplo, uma pessoa fantasiada de galo
73 O YouTube é uma subsidiária do Google, cuja empresa controladora é a Alphabet, Inc.

74 “2017 Brand Love Study: Kid & Family Trends,” Smarty Pants: the Youth and Family Experts (2017), 14.
75 id. às 7.
76 id.
77 Alexis Madrigal, “Raised by YouTube,” Atlantic 322, no. 4 (novembro de 2018): 72–80. https://
www.theatlantic.com/magazine/archive/2018/11/raised-by-youtube/570838/
78 Holloway, D., Green, L., & Livingstone, S. (2013). Zero a oito. Crianças pequenas e seu uso da internet.
Londres, Reino Unido: EU Kids Online. Obtido em http://eprints.lse.ac.uk/52630/1/Zero_to_eight.pdf
79 Luckerson, V. (2013, 13 de março). Como a Vila Sésamo contou até 1 bilhão de visualizações no YouTube. Tempo.
Obtido de http://business.time.com/2013/03/15/how-sesame-street-counted-all-the-way-to-1-billion youtube-views
80 Fox, A. (2014, 26 de março). Os israelenses que conquistaram crianças ao redor do mundo. Revista Mako. Recuperado
de http://www.mako.co.il/home-family-weekend/Article-a4dda21f12ef441006.htm
81 Buzzi, M. (2011). O que seus filhos estão assistindo no YouTube? Em VF Cipolla, KV Ficarra, & D. Verber (Eds.), Avanços em novas
tecnologias, interferências interativas e comunicabilidade (pp. 243-252). Berlim, Alemanha: Springer.
82 Grossaug, R. (2017). O que influencia os influenciadores: Produção de televisão pré-escolar em uma era de mudança na mídia:
O caso do 'Hop! Grupo' [Dissertação de doutoramento não publicada]. Universidade Hebraica de Jerusalém. Ver também Elias,
N., Sulkin, I., & Lemish, D. (no prelo). Segregação de gênero na Baby TV: Estereótipos antigos para os mais jovens. In D. Lemish &
M. Gotz (Eds.), Além dos estereótipos: meninos, meninas e seus
imagens. Nordicom.
https://www.researchgate.net/publication/321481837_Gender_segregation_on_BabyTV_Old
time_Stereotypes_for_the_Very_Young
83 Dredge, S. (2015, 19 de novembro). Por que o YouTube é a nova TV infantil e por que isso é importante. O guardião.
Recuperado de http://www.theguardian.com/technology/2015/nov/19/youtube-is-the-new-childrens-tv heres-why-that-matters
15
surpreendendo um policial). No topo da lista de favoritos das crianças, no entanto, estão os vídeos de unboxing84, nos
quais são abertas caixas contendo diferentes produtos.85 A atração do unboxing pode estar no mistério do processo de
desembalagem. As crianças pequenas gostam de mistério e suspense, especialmente quando é provável que tenham
resultados seguros e previsíveis. Um excelente exemplo dessa tendência é uma série de vídeos do YouTube em que uma
pessoa abre Kinder Surprise Eggs86, com centenas de milhões de acessos. Embora não haja dados disponíveis sobre a
idade dos espectadores, Jordan afirma que esses vídeos são particularmente atraentes para crianças de 2 a 4 anos porque
as expõem à transformação da forma, satisfazendo assim uma necessidade de desenvolvimento característica dessa faixa etária.87
Apesar de seus benefícios, o YouTube também apresenta desvantagens significativas como fonte de entretenimento infantil.
Quando o aplicativo YouTube Kids foi lançado, o Google o declarou um ambiente de mídia educacional e seguro para os
mais pequenos, equipado com um modo de segurança para filtragem automática de conteúdo marcado como impróprio.
O resultado, no entanto, ficou muito aquém da promessa do Google e o YouTube Kids foi duramente criticado por sua
falta de seleção profissional e exibição de conteúdo comercial, ignorando as salvaguardas de publicidade bem
estabelecidas adotadas tanto pela transmissão quanto pela televisão a cabo.88
Em 2015, o YouTube decidiu lançar uma plataforma dedicada chamada YouTube Kids como um meio de fornecer conteúdo
seguro e apropriado para a idade das crianças.89 Este aplicativo 'YouTube Kids' é um produto diferente do aplicativo
padrão do YouTube. O YouTube Kids apresenta um layout adequado para crianças, que, de acordo com o YouTube, foi
projetado para “tornar mais seguro para as crianças explorarem o mundo por meio de vídeos online”.
O aplicativo possui vários controles parentais integrados. Antes de usar o aplicativo YouTube Kids, por exemplo, um dos
pais precisa desbloquear o aplicativo e verificar a idade de seus filhos. Outros controles dos pais incluem a possibilidade
de ativar ou desativar a opção de 'pesquisa', com a última significando que a criança só pode ver vídeos de criadores de
vídeos verificados pelo próprio YouTube, e um cronômetro que limita a quantidade de tempo que um usuário pode usar o
aplicativo. O aplicativo YouTube Kids, portanto, oferece uma versão 'barebones' do aplicativo original do YouTube,
removendo vários recursos. Não é possível deixar uma avaliação dos vídeos no aplicativo YouTube Kids e não há uma
seção de comentários abaixo dos vídeos onde os espectadores possam deixar suas opiniões. Isso foi desenvolvido
propositalmente para limitar a exposição indesejada a parte do conteúdo disponível no YouTube, considerado inadequado
para o público mais jovem. Para evitar a exposição a conteúdo inapropriado, todos os vídeos no aplicativo YouTube Kids
são verificados se são adequados para crianças. O aplicativo YouTube Kids contém uma guia "recomendado" em vídeos,
que exibe outros vídeos relacionados ao vídeo que o usuário está assistindo no momento. Esses vídeos são todos vídeos
apenas do aplicativo YouTube Kids, sujeitos às mesmas restrições de idade que outros vídeos do YouTube Kids.
Anúncios também são exibidos nos vídeos. Esses anúncios são amplamente verificados pelo YouTube para garantir que
sejam adequados para toda a família.90
84 Marsh, J. (2016). Unboxing' videos: Coconstrução da criança como ciberflaneur. Discurso: Estudos nas políticas
culturais da educação, 37, 369-380. https://doi.org/10.1080/01596306.2015.1041457 85 Knorr, C.
(2016, 15 de março). O que as crianças estão realmente assistindo no YouTube? Mídia de Senso Comum. Obtido em
http://www.commonsensemedia.org/blog/what-kids-are-really-watching-on-youtube
86 https://www.amazon.com/Kinder-Surprise-Eggs/s?k=Kinder+Surprise+Eggs 87
Jordan, AB (2015, novembro). Nativos digitais e imigrantes digitais: uso da mídia e identidade geracional.
Palestra principal. Universidade Ben-Gurion do Negev, Beer-Sheva, Israel.
88 Golin, J., Chester, F., & Campbell, A. (2015, 7 de abril). Os advogados registram uma reclamação da FTC contra o
YouTube Kids do Google. Campanha por uma Infância Sem Comercio. Obtido em http://
www.commercialfreechildhood.org; Ver também Luscombe, B. (2015, 7 de setembro). Mestre da visualização do YouTube. Tempo, 70
89 “Apresentando o mais novo membro da nossa família, o aplicativo YouTube Kids – disponível no Google Play e na
App Store,” Blog oficial do YouTube, https://youtube.googleblog.com/2015/02/youtube-kids.html; “YouTube Kids,”
https://www.youtube.com/yt/kids/. 90 http://
arno.uvt.nl/show.cgi?fid=152292;
16
Todo o conteúdo enviado para o aplicativo YouTube Kids é submetido a um processo de verificação por uma máquina
algoritmo.91 Caso o algoritmo aprove um vídeo para o YouTube Kids, todos os usuários podem visualizá-lo
vídeo.
Tanto no YouTube quanto no YouTube Kids, os algoritmos de aprendizado de máquina são usados para recomendar e mediar o
adequação do conteúdo.92 Os representantes do YouTube, no entanto, têm sido opacos sobre as diferenças no
dados de entrada e funções de recompensa subjacentes ao YouTube Kids e ao YouTube.93Falta de transparência sobre a entrada
os dados usados em algoritmos tornam difícil para as partes interessadas entender a distinção.94 De forma mais geral,
a questão da opacidade algorítmica preocupa tanto o YouTube quanto o YouTube Kids, já que o YouTube, e não
O YouTube Kids continua respondendo pela esmagadora maioria da audiência da programação infantil
dentro da marca YouTube.95
Os algoritmos de aprendizado de máquina - principalmente o mecanismo de recomendação empregado pelo YouTube e pelo YouTube
Kids – são otimizados para garantir que as crianças vejam o maior número possível de vídeos na plataforma. 96 Crianças não
precisar inserir qualquer informação ou confirmar quaisquer permissões adquiridas para assistir a milhares de vídeos no YouTube e
Crianças do YouTube. A tecnologia 97Touchscreen e o design das plataformas permitem que até crianças pequenas
facilidade de acesso.98 Infelizmente, nenhum dos sistemas de recomendação parece otimizar a qualidade ou
valor educacional do conteúdo.99 Como as empresas que desenvolvem programação infantil são igualmente
preocupados em maximizar os espectadores e as horas de visualização, suas postagens geralmente são elaboradas com base no YouTube
privilegiando a quantidade com pouca consideração pela qualidade, incluindo o valor educacional.100 Há particular
91 Kantrowitz, Alex. 'YouTube Kids vai lançar uma versão não algorítmica e com lista de permissões de seu aplicativo' (Buzzfeed
News, 6 de abril de 2018). https://www.buzzfeednews.com/article/alexkantrowitz/youtube-kids-is going-to-release-a-
whitelistednon#.ftVwoX5dp e Wojcicki, Susan. 'Protegendo nossa comunidade' (YouTube Creator Blog, 2017). https://youtube-
creators.googleblog.com/2017/12/protecting-our-community.html
92 Karen Louise Smith e Leslie Regan Shade, “Parques infantis digitais como conjuntos de dados:
Problemática da Privacidade, Personalização e Cultura Promocional,” Big Data & Society, Vol. 5 (2018), em 5. https://
journals.sagepub.com/doi/pdf/10.1177/2053951718805214
93 Adrienne LaFrance, “The Algorithm That Makes Preschoolers Obsessed With YouTube Kids,” The Atlantic, 27 de julho de
2017, https://www.theatlantic.com/technology/archive/2017/07/what-youtube-reveals-aboutthe toddler-mind/534765/.
94 “Termos de Serviço - YouTube,” https://www.youtube.com/static?template=terms, (13 de novembro de 2018);

Matt O'Brien. “Grupos de consumidores dizem que o YouTube viola a privacidade on-line das crianças”, Time.Com, 10 de abril de 2018,
1. https://www.aol.com/news/consumer-groups-youtube-violates-children-012240300.html
95 Madrigal, “Raised by YouTube,” 80. Ver também Tÿkés, Gyöngyvér, Digital Practices in Everyday Lives of 4 to 6 Years Old
Romanian Children (30 de novembro de 2016). Journal of Comparative Research in Anthropology and Sociology, Volume 7,
Número 2, Inverno de 2016, disponível em SSRN: https://ssrn.com/abstract=2915463
96 Matt O'Brien. “Grupos de consumidores dizem que o YouTube viola a privacidade on-line das crianças”, Time.Com, 10 de abril de 2018,
1. https://www.aol.com/news/consumer-groups-youtube-violates-children-012240300.html
97 id.
98 Elias, Nelly e Idit Sulkin. “Espectadores do YouTube em fraldas: uma exploração dos fatores associados à quantidade
de visualização on-line de crianças pequenas.” Cyberpsychology, 23 de novembro de 2017, às 2,
disponível em https://cyberpsychology.eu/article/view/8559/7739.
99 Madrigal, “Raised by Youtube,” 79.
100Adrienne LaFrance, “O algoritmo que deixa crianças em idade pré-escolar obcecadas com o YouTube
Crianças.” https://www.theatlantic.com/technology/archive/2017/07/what-youtube-reveals-about-the-toddler mind/534765/
17
101 crianças
preocupação de que, com o YouTube e o YouTube Kids, as recomendações de “vídeos relacionados” derivados do
algoritmo podem ficar facilmente presas em “filtros de bolhas”102 de conteúdo de baixa qualidade.103
Os algoritmos de filtragem também levantam outros problemas,104 especialmente quando um número significativo de entidades externas é
capaz de cooptar os processos de descoberta algorítmica do YouTube e do YouTube Kids para maximizar o tempo do espectador com
às vezes, consequências surpreendentes para as crianças.105 Por exemplo, qualquer pessoa com mais de 18 anos pode criar e carregar
conteúdo no YouTube e suas criações não são regulamentadas por protocolos profissionais.
Os processos de descoberta algorítmica do YouTube e do YouTube Kids podem ser manipulados para enviar conteúdo que o
pusher espera um bom desempenho no mecanismo de "vídeos relacionados" da plataforma, incentivando o conteúdo sensacional.106
Priorizar esse conteúdo é um dos impactos críticos do uso de algoritmos de aprendizado de máquina pelo YouTube.107 Crianças
101As crianças também acessam informações e notícias de uma variedade de sites e plataformas de mídia social. Mas como
Eles estão confiantes de que o que encontram on-line não é desinformação ou desinformação deliberada, ou as chamadas
'notícias falsas'? De acordo com o estudo Global Kids Online, entre 20 e 40 por cento das crianças entre 9 e 11 anos
'acham fácil verificar se as informações que encontram online são verdadeiras'. Byrne, Jasmina, e outros. Síntese da
Pesquisa Global Kids Online: 2015-2016. Escritório de Pesquisa do UNICEF – Innocenti e London School of Economics
and Political Science. Florença. Disponível em: https://www.unicef-irc.org/publications/
869-global-kids-online-research-synthesis-2015-2016.html O surgimento das chamadas 'bolhas de filtro' que ocorre
quando plataformas e mecanismos de busca fazem uso de algoritmos para selecionar informações que um usuário gostaria
de ver sublinha a gravidade potencial desse problema em relação
para crianças. Em vez de expor as crianças a uma variedade de ideias, diferentes perspectivas e formas de pensar, as
plataformas da web em geral e as 'notícias falsas' em particular podem levá-las a se envolver com notícias ou
fontes de informação que confirmam pontos de vista ou preconceitos existentes. Ver também Bezemek, Christoph, The
'Filter Bubble' e Human Rights (2 de novembro de 2018). Petkova/Ojanen (eds), Proteção dos Direitos Fundamentais
Online: The Future Regulation of Intermediaries, a ser publicado, disponível em SSRN: https://
ssrn.com/abstract=3277503 ou http://dx.doi.org/10.2139/ssrn.3277503; e Dutton, William H. e Reisdorf, Bianca e Dubois,
Elizabeth e Blank, Grant, Social Shaping of the Politics of Internet Search and Networking: Moving Beyond Filter Bubbles,
Echo Chambers, and Fake News (31 de março de 2017). Documento de trabalho do Quello Center nº 2944191, disponível
em SSRN: https://ssrn.com/abstract=2944191 ou http://dx.doi.org/10.2139/ssrn.2944191; e V Verdoodt e E
Lievens, Visando crianças com publicidade personalizada: como conciliar os (melhores) interesses de crianças
e anunciantes, em Proteção de dados e privacidade sob pressão: tensões transatlânticas, vigilância da UE e big data, (2017)
https://biblio.ugent.be/publication/8541057/file/8541058
102Veja geralmente Tracy S. Bennett, Ph.D., Sorry to Burst Your [Filter] Bubble,
GetKidsInternetSafe, https://getkidsinternetsafe.com/sorry-to-burst-your-filter-bubble/ Em 2011, Eli Parisier lançou seu livro
The Filter Bubble: What the Internet Is Hiding From You. Pariser E. A bolha dos filtros: o que a Internet está escondendo
de você. Londres: Penguin UK; 2011. (“ Parisier explica como os mecanismos de busca da Internet e seus algoritmos
estão criando uma situação em que os usuários obtêm cada vez mais informações
que confirma suas crenças anteriores. Algoritmos de busca estão usando grandes quantidades de informações sobre o usuário para
encontrar e apresentar informações relevantes para o usuário individual. Seu histórico de pesquisa e navegação é uma peça chave de
as informações usadas para personalizar os resultados que você obtém ao realizar pesquisas online. Combinar isso com
informações sobre sua rede social, hábitos de visualização e geografia leva a uma visão cada vez mais restrita das
informações disponíveis online. O principal argumento de Parisier é que esse estreitamento cria uma bolha de filtro, que é
invisível para o usuário, mas ainda tem imenso impacto sobre as informações disponíveis para o indivíduo.
Quando você realiza uma pesquisa no Google, as informações sobre você são usadas além do seu termo de pesquisa
para localizar e priorizar os resultados de pesquisa com maior probabilidade de serem de seu interesse. Então, quando você
clica entre os primeiros resultados da pesquisa (como a maioria das pessoas faz), você confirma de volta ao mecanismo
de pesquisa que os resultados foram realmente relevantes e/ou interessantes. Isso, por sua vez, fortalece o filtro,
tornando mais provável que você receba resultados semelhantes no futuro. No entanto, não é apenas o seu próprio comportamento que influe
Os interesses e preferências das pessoas da sua rede social também fazem parte dos algoritmos, tornando
é mais provável que você receba resultados de pesquisa para os quais sua rede social em geral está gravitando. Em muitos
casos, esses filtros estão fornecendo resultados relevantes e bons. No entanto, torna-se um problema assim que
seu perfil contém elementos que fazem com que os resultados da pesquisa gravitem em direção à desinformação. Os filtros são
18
são particularmente suscetíveis a recomendações de conteúdo, então "vídeos relacionados" chocantes podem atrair a atenção das crianças
atenção e desviá-los de uma programação mais adequada para crianças.108
A situação dos algoritmos do YouTube e como eles impactaram muitas crianças é preocupante, mesmo
perturbador. Primeiro, a transmissão de conteúdo voltado para crianças é interrompida frequentemente por
anúncios, muitos dos quais são impróprios para espectadores mais jovens. Além disso, um relatório recente sobre crianças
segurança no YouTube mostra que crianças muito pequenas estão a apenas 2 a 4 cliques de conteúdo adulto enquanto assistem
vídeos voltados para crianças. Por exemplo, crianças assistindo Vila Sésamo estão a dois cliques de um vídeo de acidente de carro,
enquanto aqueles que assistem Dora the Explorer - são quatro cliques de um vídeo com palavrões e nudez.109
em grande parte invisível, o que aumenta o problema. Muitos usuários nem sabem que a filtragem está ocorrendo e,
mesmo que estejam, é difícil controlar como o filtro está sendo aplicado. Concedido, você
pode acessar o Google e excluir seu histórico de pesquisa ou clicar no botão "Ocultar resultados particulares" no canto
superior direito dos resultados da pesquisa. Ainda assim, a complexidade dos algoritmos e a falta de explicações úteis
sobre como os filtros realmente funcionam dificultam o controle do usuário. A maneira como os filtros influenciam os
resultados da pesquisa levou nosso grupo a usar o termo Gravitational Black Holes of Information para ilustrar como é
difícil escapar da força dos filtros. Assim que você aponta para um núcleo de desinformação, é inerentemente difícil escapar
da força gravitacional dos algoritmos de busca. No caminho em direção ao centro gravitacional, suas crenças anteriores
estão sendo fortalecidas pelas novas informações que você encontra, puxando você ainda mais para o buraco negro.”
Harald Holone, The filter bubble and its effect on online personal health information, Croat Med J. 2016 Jun; 57(3): 298–301.
doi: 10.3325/cmj.2016.57.298).
103Id.
104Veja, por exemplo, Siddiqui, Anaum, A Critical Look at YouTube Videos: Causing Behavioral Change Between Children
(1 de março de 2019). Disponível em SSRN: https://ssrn.com/abstract=3453417 ou
http://dx.doi.org/10.2139/ssrn.3453417 (“Os media sempre se assumiram como uma das fontes de construção de realidades
para a sociedade. Os conteúdos mediáticos são considerados como uma importante causa de mudança comportamental na sociedade.
Crianças devido à sua menor idade são mais propensas a serem influenciadas pelo conteúdo. Devido ao surgimento
do YouTube e sua fácil acessibilidade e negligência dos pais devido às suas vidas ocupadas, não podemos limitar
seus efeitos em nossos filhos. Esta pesquisa se concentra apenas na mudança comportamental de crianças causada
por assistir a vídeos do YouTube. De acordo com os resultados desta pesquisa, as crianças usaram o YouTube como
instituto de onde aprenderam sua educação básica, como alfabeto e contagem, identificação de cores e formas e canções
de ninar. Por outro lado, essas mudanças têm aumento da agressividade, crescimento mental doentio, distúrbios do
sono e qualquer outra alteração emocional ou física. Entrevistas semi-estruturadas foram realizadas com N=30 mães
de pré-escolares de Islamabad. O método de amostragem estratificada proporcional tem
adotado para cobrir a maior parte da população. A amostra foi dividida em três divisões de classe, como classe alta, média
e baixa, das quais N = 10 amostras são entrevistadas aleatoriamente. As mães que pertencem à classe alta da
sociedade são em sua maioria mais educadas e expõem seus filhos a conteúdos comparativamente positivos
e educativos. Já as mães de classe média têm menos controle sobre o conteúdo e estão focadas apenas em como manter
o filho ocupado e distraído. Mães de classe baixa não têm ideia da qualidade do conteúdo e do tempo que seus filhos
estão gastando assistindo a esse conteúdo. Uma noção semelhante que pode ser vista em todas as três divisões de classe
é que as mães querem escapismo e, para isso, estão expondo seus filhos a vídeos do YouTube.”)
105Elias, Nelly e Idit Sulkin. 2.

106Elias, N., & Sulkin, I. (2017). Visualizadores do YouTube em fraldas: uma exploração dos fatores associados à quantidade de
visualizações on-line de crianças pequenas. Cyberpsychology: Journal of Psychosocial Research on Cyberspace, 11(3), Artigo
2. https://doi.org/10.5817/CP2017-3-2
2. https://doi.org/10.5817/CP2017-3-2
2. https://doi.org/10.5817/CP2017-3-2
19
Descobriu-se que os algoritmos do YouTube aprovavam vídeos com conteúdo impróprio para crianças, como
como violência e má conduta sexual. 110 Numerosos relatórios da mídia 111 cobriram a crescente popularidade do amador
vídeos de ação ao vivo que trazem tags inocentes usando nomes dos heróis infantis mais populares, como Elsa e Anna
(do filme Frozen) ou Homem-Aranha, mas que contenham conteúdo ofensivo e apresentem expressões explícitas de
comportamento, vandalismo e violência. Esses vídeos são facilmente incluídos nas listas de reprodução sugeridas do YouTube
de episódios dos programas infantis favoritos e ganham popularidade à medida que milhões de pessoas os assistem.112 Esses
figuras animadas envolvidas em comportamento, como decapitação, atos pornográficos e comportamento criminoso, incluindo,
mas não limitado a, assassinato, roubo e agressão sexual. O público mais jovem foi, portanto, submetido a severamente
comportamento perturbador, que é claramente prejudicial para eles.
113
Este período de vídeos polêmicos amplamente divulgados no YouTube Kids é conhecido como 'ElsaGate'. Múltiplo
estudos descobriram que a mídia tem um grande impacto sobre os jovens, com estudos encontrando correlações entre o aumento
comportamento violento quando submetido a programação violenta de televisão,114 e promoção de comportamento sexual.115 Estes
Os vídeos ElsaGate foram expostos a milhões de crianças, cujo comportamento e desenvolvimento emocional foram
impactados devido a esses vídeos. Pesquisas científicas sobre arquiteturas de aprendizado profundo foram publicadas em
resposta ao ElsaGate, trazendo uma discussão mais aprofundada juntamente com possíveis soluções para o problema.116
Outro desafio de governança algorítmica de IA é a exposição inadequada de crianças ao YouTube e à publicidade relacionada
ao YouTube Kids.117 O modelo de negócios do YouTube depende do rastreamento de endereços IP, histórico de pesquisa, dispositivo
109Kaspersky Lab, (2013, 5 de fevereiro). Crianças correm alto risco de acessar conteúdo adulto no YouTube.
PRNewswire. Recuperado de http://www.prnewswire.com/news-releases/children-at-high-risk-of-accessing adult-
content-on-youtube-189770621.html
110 Maheshwari, Sapna. 'No YouTube Kids, vídeos surpreendentes escapam dos filtros'. (New York Times, 2017).
https://www.nytimes.com/2017/11/04/business/media/youtube-kids-paw-patrol.html?_r=0
111Subedar, Anisa. "Os vídeos perturbadores do Youtube que enganam as crianças" (2019)
https://www.bbc.com/news/blogs-trending-39381889; Draga, Stuart. 2016. "Último hit do YouTube: super-heróis neon,
patos gigantes e muita lycra". O guardião. https://www.theguardian.com/
technology/2016/jun/29/youtube-superheroeschildren-webs-tiaras; "Youtube: Wie Gefälschte Disney-Cartoons
Kinder Verstören - Derstandard.At". 2019. DER STANDARD, https://derstandard.at/2000055049856/Youtube-Wie-
gefaelschte-Disney-CartoonsKinder-verstoeren; Robertson, A. 2017. “O que torna os vídeos infantis surreais do
YouTube tão assustadores?” The Verge, 21 de novembro. https://www.theverge.com/culture/2017/11/21/16685874/
kids-youtube-video-elsagate-creepiness Psychology.
112 Mathijs Stals, The technology downside of algoritmos: an 'ElsaGate' case study, Masters Thesis, (agosto
2020) http://arno.uvt.nl/show.cgi?fid=152292; Veja também Kostantinos Papadamou, Characterizing Abhorrent,
Misinformative, and Mistargeted Content on YouTube, Ph.D. Tese, (16 de maio de 2021)
https://arxiv.org/pdf/2105.09819.pdf
113Brandom, Russel. "Dentro de Elsagate, a guerra movida a conspiração contra vídeos infantis assustadores do Youtube" .
2017. The Verge. Acessado em 1º de maio de 2019. https://www.theverge.com/2017/12/8/16751206/elsagate-
youtube-kids creepyconspiracy-theory.
114 Johnson, JG et. al. 'Assistir televisão e comportamento agressivo durante a adolescência e a idade adulta' (2002).
Acessado em 23 de junho de 2019. https://www.ncbi.nlm.nih.gov/pubmed/11923542
115Strasburger, Victor C. 'Adolescent Sexuality and the Media' (1989).
https://www.sciencedirect.com/science/article/pii/S0031395516366949; e Brown, Jane D. 'Influências da mídia de
massa na sexualidade' https://www.tandfonline.com/doi/abs/10.1080/00224490209552118
116Ishikawa, Akari et. al. “Combatendo o Fenômeno ElsaGate: Arquiteturas de Aprendizagem Profunda para Desenhos
Animados Perturbadores”. 2019. Arxiv. https://www.semanticscholar.org/paper/Combating-theElsagate-
Phenomenon%3A Deep-Learning-Ishikawa-Bollis/938d3fd2cede997006cae88bdc26b2af92e4d384
117 Sarah Perez, “Mais de 20 grupos de defesa reclamam com a FTC que o YouTube está violando a lei de privacidade infantil,”
TechCrunch, 9 de abril de 2018, https://techcrunch.com/2018/04/09/over-20-advocacy-groups-complain-to ftcthat-
youtube-is-violating-childrens-privacy-law/' O Children's Online Privacy Protection Act de 19981 ("COPPA")
supostamente protege as crianças na internet. 15 USC §§ 6501–05 (2018). A COPPA foi aprovada
em resposta às preocupações crescentes ao longo da década de 1990 sobre o uso seguro da internet por crianças.
Em particular, a COPPA visava “(i) [o] supermarketing para crianças e a coleta de informações pessoalmente identificáveis
20
identificadores, localização e dados pessoais dos consumidores de forma a poder categorizar os consumidores pelos seus interesses, em
para fornecer publicidade "eficaz".118
Embora o YouTube Kids declare proibir “publicidade com base em interesses” e anúncios com “pixels de rastreamento”,119
publicidade disfarçada de programação é onipresente no aplicativo YouTube Kids.120
Os termos de serviço do YouTube afirmam que seu aplicativo principal e site são destinados apenas a espectadores de 13 anos ou mais, o que
significa que o site não precisa cumprir a Lei de Proteção à Privacidade Online das Crianças de 1998121
(“COPPA”), a lei aprovada nos EUA em resposta às preocupações crescentes ao longo da década de 1990 sobre o uso seguro
da Internet por crianças.122A empresa direciona menores de 13 anos para o aplicativo YouTube Kids, que
extrai seus vídeos do site principal.
Embora o YouTube restrinja a publicidade paga de alimentos e bebidas no YouTube Kids, por exemplo, alimentos
as empresas podem usar seus próprios canais de marca para destacar determinados alimentos e bebidas que produzem,
123
enterrando o que são essencialmente anúncios dentro de programas e, assim, direcionando seus produtos para crianças. Por isso,
as corporações estão encontrando maneiras de atingir os menores de forma a manter a letra, mas não o espírito das regras e em
maneiras que podem ser escondidas dos pais e outras partes interessadas.124
informações de crianças que são compartilhadas com anunciantes e profissionais de marketing, e (ii) crianças compartilhando informações
com predadores online que poderiam usá-lo para encontrá-los offline.” A COPPA foi implementada pela FTC por meio de sua
Regra de Proteção à Privacidade Online Infantil, que entrou em vigor em 21 de abril de 2000. Em geral, a COPPA regula a
coleta de informações pessoais de crianças e se aplica a sites “direcionados a crianças” e aqueles cujos operadores têm
“conhecimento real” de usuários infantis. As crianças são identificadas como indivíduos com idade inferior a treze anos. Os
cinco principais requisitos da lei são notificação, consentimento dos pais, revisão dos pais, segurança e limites de uso de jogos
e prêmios. Para coletar legalmente informações pessoais cobertas de uma criança, um
O operador do site deve primeiro obter “consentimento parental verificável” em uma forma que varia de acordo com o uso
pretendido das informações. As emendas mais recentes da FTC à regra COPPA entraram em vigor em 2013 e esclareceram
que os regulamentos são aplicáveis a serviços da web e aplicativos móveis e que “informações pessoais” incluem dados de
geolocalização, identificadores de dispositivos e mídia contendo a voz ou a imagem de uma criança. Em setembro de
2019, a FTC, atuando com o procurador-geral de Nova York, anunciou que chegou a um acordo com o YouTube e a
controladora Google em resposta a alegações de que os serviços “coletaram ilegalmente informações pessoais de crianças
sem o consentimento dos pais”, violando a COPPA. As empresas concordaram em pagar US$ 34 milhões a Nova York e
US$ 136 milhões à FTC. Comunicado de imprensa, Fed. Trade Comm'n, Google e YouTube pagarão recorde de US$ 170
milhões por supostas violações da lei de privacidade infantil (4 de setembro de 2019) https://www.ftc.gov/news-events/
pressreleases/2019/09/google-youtube-will-pay-record-
170 milhões de supostas violações. Veja também Beemsterboer, Stephen, COPPA Killed the Video Star: How the YouTube
Settlement Shows that COPPA Does More Harm Than Good (16 de junho de 2020). Stephen Beemsterboer, COPPA
matou a estrela do vídeo: como o acordo do YouTube mostra que a COPPA faz mais mal do que bem, 25 Ill. Bus. LJ 63
(2020), Disponível em SSRN: https://ssrn.com/abstract=3631855; Ver Reddy, T. Raja e Reddy, Dr. E. Lokanadha e Reddy, T.
Narayana, Ethics of Marketing to Children: A Rawlsian Perspective (9 de outubro de 2020). Jornal de Economia e Negócios,
vol. 3 nº 4 (2020),
Disponível em SSRN: https://ssrn.com/abstract=3706544
118Ver, por exemplo, Campbell, Angela J., Repensando as políticas de publicidade infantil para a era digital (2016). 29 Loy.
Consumer L. Rev. 1 (2016), Disponível em SSRN: https://ssrn.com/abstract=2911892
119Sapna Maheshwari, “New Pressure on Google and YouTube Over Children's Data”, NY Times, 20 de setembro de
2018, https://www.nytimes.com/2018/09/20/business/media/google-youtube-children-data.html
120Sapna Maheshwari, “New Pressure on Google and YouTube Over Children's Data”, NY Times, 20 de setembro de
2018, https://www.nytimes.com/2018/09/20/business/media/google-youtube-children-data.html
12115 USC §§ 6501–05 (2018).
122Lauren A. Matecki, Nota, Atualização: COPPA é uma legislação ineficaz! Próximas etapas para proteger os direitos de privacidade
dos jovens na era das redes sociais, 5 NW. JL & SOC. POL'Y 369, 370 (2010)
123Cecilia Kang, “YouTube Kids App Faces New Complaints Over Ads for Junk Food”, NY Times, 21 de dezembro de 2017, sec.
Tecnologia, https://www.nytimes.com/2015/11/25/technology/youtube-kids-app-faces newcomplaints.html
21
Preocupações sobre o impacto dessas plataformas nas crianças continuam resultando em ações judiciais125 e campanhas para regulamentar
eles. Fairplay126 está liderando uma poderosa coalizão internacional de 100 especialistas, defensores e organizações em
pedindo ao Facebook que abandone seus planos de criar um Instagram para crianças.127
IA e os direitos das crianças em jogo: brinquedos inteligentes
Os brinquedos estão mais interativos do que nunca. O surgimento da Internet das Coisas (IoT) torna os brinquedos mais inteligentes
e mais comunicativos: agora eles podem interagir com as crianças "escutando-as" e respondendo de acordo.128
Embora haja pouca dúvida de que esses brinquedos podem ser altamente divertidos para as crianças e até mesmo possuir habilidades sociais e
benefícios educacionais, a Internet dos Brinquedos (IoToys) levanta muitas preocupações. Além do fato de que a IoT brinca com isso
pode ser hackeado ou simplesmente mal utilizado por pessoas não autorizadas, datificação de crianças por conglomerados de brinquedos,
várias partes interessadas e talvez até mesmo seus pais podem ser altamente problemáticos. IoToys poderia profundamente
124 Smith e Shade, “Children's Digital Playgrounds,” 5. Ver também Tur-Viñes, Victoria & Castelló-Martínez, Araceli. (2021).
Marcas de alimentos, YouTube e Crianças: Práticas de mídia no contexto do código de autorregulação da PAOS.
Comunicação & Sociedade. 87-105. 10.15581/003.34.2.87-105. (“O objetivo deste estudo
é analisar as práticas midiáticas envolvendo conteúdo alimentar no YouTube à luz do marco autorregulatório estabelecido pelo
código PAOS, que foi originalmente concebido para a televisão. O estudo considera o conteúdo criado e divulgado por duas
fontes diferentes: marcas de alimentos e canais infantis de YouTubers. Nós conduzimos
um estudo qualitativo-quantitativo exploratório baseado em uma análise de conteúdo de vídeos postados em 2019 nos canais
do YouTube mais vistos na Espanha (Socialblade, 2019). A amostra final incluiu 211 vídeos (29h 57m) divididos em duas
subamostras: os canais oficiais de 13 marcas de alimentos espanholas (82 vídeos) e 15 canais infantis espanhóis do
YouTuber (129 vídeos). O estudo facilitou informações sobre nove dimensões: (1)
adesão a regulamentos e padrões éticos, (2) educação e informação nutricional, (3) identificação de propaganda, (4) presença
de risco, (5) clareza na apresentação do produto e na linguagem utilizada, (6) venda sob pressão, (7) promoções, brindes,
concursos e clubes infantis, (8) apoio e promoção por meio de personagens e programas e (9) apresentações comparativas.
Os principais achados revelam o caráter experimental dos vídeos de marcas de alimentos que são postados no
YouTube para o público infantil, principalmente vídeos veiculados nos canais de YouTubers infantis, que postam
conteúdos sem uma estratégia ética
sensíveis ao seu público-alvo. A inobservância do requisito básico de identificação do vídeo como publicitário evidencia a
necessidade urgente de adequar as normas legais e éticas existentes a essas novas fórmulas de comunicação comercial.”)
125 Christina Davis, YouTube, ação de classe do Google afirma que dados de crianças foram coletados sem permissão, (30 de
outubro de 2019) https://topclassactions.com/lawsuit-settlements/consumer-products/mobile-apps/929240-youtube-google
class-action-says-kid-data-collected-without-permission/ Reclamação disponível em https://
www.classaction.org/media/hubbard-v-google- llc-et-al.pdf
126 https://fairplayforkids.org/ Fairplay é a principal organização sem fins lucrativos comprometida em ajudar as crianças a prosperar
em uma cultura cada vez mais comercializada e obcecada por telas, e a única organização dedicada a acabar com o marketing
para crianças. Eu ia.
127https://fairplay.salsalabs.org/noinstagramforkids/index.html
128A Internet das Coisas (IoT) penetrou no mercado global, incluindo o de brinquedos infantis. Em todo o mundo, as vendas de
brinquedos inteligentes atingiram US$ 9 bilhões em 2019 e devem ultrapassar US$ 15 bilhões até 2022. Conectar brinquedos
IoT à Internet expõe os usuários e seus dados a riscos variados devido a vulnerabilidades do dispositivo. Quando os dispositivos
IoT são comercializados para indivíduos, especialmente crianças, o potencial de impacto negativo é significativo, portanto,
seu design deve resultar em implementações de segurança robustas. Para o nosso estudo, realizamos testes de penetração
em um brinquedo inteligente da Fisher-Price. Conseguimos obter acesso root ao dispositivo, capturar imagens e vídeos ao
vivo, bem como instalar um software de acesso remoto que permite gravações sub-reptícias pela rede Wi-Fi
conexões sem conhecimento ou permissão do usuário. Propomos soluções, incluindo a adesão a padrões rudimentares para
design de segurança em brinquedos, um aplicativo móvel para avaliação de ameaças IoT e educação do usuário e
uma ferramenta de comunicação de risco ambiental alinhada com a percepção de risco do usuário. As soluções propostas são
cruciais para capacitar os usuários com recursos para identificar e compreender os riscos ambientais e se defender contra
atividades maliciosas. Streiff, Joshua e Das, Sanchari e Cannon, Joshua, Overpowered and Underprotected Toys: Capacitando
os pais com ferramentas para proteger seus filhos (13 de dezembro de 2019). IEEE Humans and Cyber Security Workshop
(HACS 2019), disponível em SSRN: https://ssrn.com/abstract=3509530
22
ameaçam o direito das crianças à privacidade, uma vez que as sujeitam e as normalizam para vigilância onipresente e dataficação
129
de suas informações pessoais, solicitações e qualquer outra informação que eles divulguem.
Os dispositivos baseados em IA interagem de forma autônoma com as crianças e transmitem seus próprios valores culturais, o que impacta na
direitos e deveres dos pais de prover, de maneira compatível com a evolução das capacidades da criança,
direção e orientação adequadas na liberdade de pensamento da criança, incluindo aspectos relativos à
diversidade.130
Devido ao surgimento da Internet das Coisas, objetos comuns passaram a ser conectados à internet, crianças
agora podem ser constantemente atualizados durante suas rotinas diárias, com ou sem seu conhecimento. Dispositivos IoT podem
coletar e reter grandes quantidades de dados e metadados sobre crianças e compartilhá-los com várias partes - capaz de
extrair dados sobre onde as crianças estão, o que estão fazendo ou dizendo, e talvez até mesmo capturar imagens e
vídeos deles.
Cayla é uma boneca conectada à internet que usa tecnologia de reconhecimento de voz para conversar e interagir com crianças em
tempo real. As conversas de Cayla são gravadas e transmitidas online para uma empresa de análise de voz. Isso levantou
preocupações de que hackers possam espionar crianças ou se comunicar diretamente com elas enquanto brincam com a boneca. Lá
também há preocupações sobre como os dados de voz das crianças foram usados. Em 2017, os reguladores alemães instaram os pais a destruir o
boneca, classificando-a como um “aparelho de espionagem ilegal”.131
Em 17 de fevereiro de 2017, a Agência de Rede Federal Alemã proibiu a venda do Cayla132 e ordenou o
destruição de todos os dispositivos que já haviam sido vendidos.133 A base legal desta decisão foi o § 148 (1) no. 2, 90
da Lei Alemã de Telecomunicações. A justificativa era que, devido à conectividade da boneca com seu
fabricante (necessário porque a boneca era habilitada para IA), a boneca era efetivamente uma espiã da criança, gravando
134
todos os dados que a criança diz aos dispositivos, incluindo seus segredos mais preciosos.
Da mesma forma, a agência estava preocupada com o fato de os dispositivos serem hackeáveis, expondo as crianças a ameaças como
pedofilia ou comunicações ideológicas. Desde então, o regulador tem usado a lei para proibir dispositivos semelhantes como
bem como relógios inteligentes 135Essa abordagem rígida adotada para proteger as crianças, um dos mais vulneráveis
129Haber, Eldar, Toying with Privacy: Regulating the Internet of Toys (8 de dezembro de 2018). 80 Ohio State Law Journal 399 (2019),
disponível em SSRN: https://ssrn.com/abstract=3298054; Veja também Haber, Eldar, The Internet of Children: Protecting
Children's Privacy in A Hyper-Connected World (21 de novembro de 2020). 2020 U. Ill. L. Rev. 1209 (2020), disponível em SSRN:
https://ssrn.com/abstract=3734842
130 Veja, por exemplo, Conselho Norueguês do Consumidor (fn 179) referindo-se ao dol Cayla conectado (“A versão norueguesa dos
aplicativos baniu as palavras norueguesas para “homossexual”, “bissexual”, “lésbica”, “ateísmo” e “LGBT”
[…]” “Outras palavras censuradas incluem 'menstruação', 'membro da cientologia', 'violência', 'aborto', 'religião' e 'incesto'”);
Veja Esther Keymolen e Simone Van der Hof, 'Ainda posso confiar em você, minha querida boneca? Uma exploração
filosófica e legal de brinquedos inteligentes e confiança' (2019) 4(2) Journal of Cyber Policy 143-159 https://www.tandfonline.com/
doi/pdf/10.1080/23738871.2019.1586970?needAccess=true (“Brinquedos inteligentes vêm em diferentes formas, mas têm uma
coisa em comum. O desenvolvimento desses brinquedos não é apenas uma característica dos desenvolvimentos tecnológicos
em andamento; seu surgimento também reflete uma crescente comercialização da vida cotidiana das
crianças”); Veja Valerie Steeves, 'Uma análise dialógica das conversas da Hello Barbie com crianças' (2020) 7(1) Big Data &
Society, https://journals.sagepub.com/doi/pdf/10.1177/2053951720919151
131Kay Firth-Butterfield , Geração AI: O que acontece quando o amigo do seu filho é um brinquedo de IA que responde?
Fórum Econômico Mundial, 22 de maio de 2018) http://governance40.com/wp-content/uploads/2018/12/Generation AI-What-happens-
when-your-childs-friend-is-an-AI-toy-that-talks-back-World-Economic-Forum.pdf
132MEU AMIGO CAYLA, https://www.genesis-toys.com/my-friend-cayla
133Comunicado de imprensa, Bundesnetzagentur retira do mercado a boneca infantil “Cayla”, Bundesnetzagentur
[BNetzA] [Agência Federal de Rede Alemã], (2 de fevereiro de 2017).
134Kay Firth-Butterfield, Generation AI: O que acontece quando o amigo do seu filho é um brinquedo de IA que responde?, FÓRUM
ECONÔMICO MUNDIAL (20 de maio de 2018) https://www.weforum.org/agenda/2018/05/generation-ai-whathappens-when your-
childs-invisible-friend-is-an-ai-toy-that-talks-back/.
135Veja DakshayaniShankar, Germany Bans Talking Doll Cayla over Security, Hacking Fears, NBC NEWS (18 de fevereiro de 2017,
18h43), http://www.nbcnews.com/news/world/germany-bans-talking-doll-cayla-over-security-hacking-fears
23
demográfica, tem ainda fundamento legal no art. 16 (1) da Convenção sobre os Direitos da Criança. De acordo com
que “nenhuma criança será submetida a interferências arbitrárias ou ilegais em sua privacidade, família, lar ou
correspondência.136
Cayla é apenas um exemplo de uma nova onda de brinquedos de inteligência artificial que “fazem amizade” com as crianças. Fabricantes
muitas vezes afirmam que são educativos, melhorando o jogo e ajudando as crianças a desenvolver habilidades sociais. Mas grupos de consumidores
alertam que brinquedos inteligentes, como outras “coisas” que conectamos à internet, podem colocar em risco a segurança e a privacidade. Como
navegamos em um mundo onde os brinquedos de IA são cada vez mais populares. O que acontece com os dados dos brinquedos de IA? O
os brinquedos estão conectados à internet (via WiFi ou Bluetooth para um telefone ou outro dispositivo com acesso à internet) e
enviar dados ao fornecedor. Isso permite que a IA da empresa aprenda para a empresa e seja mais capaz de conversar com
a criança. A empresa registra e coleta todas as conversas da criança com o brinquedo e, possivelmente, com
outras crianças e adultos que também interagem com ela. A empresa provavelmente está armazenando esses dados e certamente usando
para criar um produto melhor. A localização do brinquedo afeta a forma como os dados são armazenados. Por exemplo, nos EUA,
empresas que criam brinquedos educativos podem armazenar dados por mais tempo do que outras empresas. Assim, quando o fabricante
descreve seu brinquedo como educacional, abre esse direito de reter os dados por mais tempo. Quanto mais dispositivos –
muitos comercializados como brinquedos educativos - chegam ao mercado, eles estão acionando o alarme em torno da privacidade,
viés, vigilância, manipulação, democracia, transparência e responsabilidade.
Com quais questões devemos nos preocupar mais? A Alemanha proibiu Cayla e brinquedos semelhantes por causa de preocupações
eles poderiam ser usados para espionar crianças e que alguém poderia hackear o dispositivo e se comunicar diretamente com
a criança. Mas também estamos falando de empresas monetizando dados. Os dados dos brinquedos de IA contêm tudo o que um
criança diz ao dispositivo, incluindo seus segredos mais guardados.
Se esses dados forem coletados, a criança tem o direito de recuperá-los? Se esses dados forem coletados desde muito cedo
infância e não pertence à criança, torna a criança mais vulnerável porque suas escolhas
e padrões de comportamento podem ser conhecidos por qualquer pessoa que adquira os dados, por exemplo, empresas ou políticos
campanhas.
Dependendo das leis de privacidade do estado em que os brinquedos estão sendo usados, se os dados forem coletados e mantidos, é
viola o Artigo 16 da Convenção sobre os Direitos da Criança – o direito à privacidade. Embora, claro,
sem dúvida, isso é algo que os pais fazem rotineiramente postando fotos de seus filhos no Facebook137
Quais são os benefícios dos brinquedos de IA? A maioria dos economistas argumentaria que melhorar e aumentar o acesso a
a educação é uma das melhores maneiras de fechar a lacuna entre o mundo em desenvolvimento e o mundo desenvolvido. habilitado para IA
brinquedos educativos e “professores” podem fazer uma diferença extremamente benéfica no mundo em desenvolvimento. De acordo com
capitalista de risco e ex-CEO do Google China, Kai Fu Lee,138 os dados coletados dos dispositivos provavelmente seriam
usado pelas grandes empresas de IA no Ocidente e na China para seus próprios propósitos, em vez de direcionado para um
esforço de beneficiar as crianças, seus pais ou os países em que vivem.139
n722816;Jane Wakefield, Alemanha proíbe smartwatches infantis, BBC NEWS (17 de novembro de 2017), http://
www.bbc.com/news/technology-42030109.
136Convenção das Nações Unidas sobre os Direitos da Criança, art. 16 (1), 20 de novembro de 1989
https://www.ohchr.org/en/professionalinterest/pages/crc.aspx
137Steinberg, Stacey, Sharenting: Children's Privacy in the Age of Social Media (8 de março de 2016). 66 Emory LJ
839 (2017), University of Florida Levin College of Law Research Paper No. 16-41, Disponível em SSRN: https://ssrn.com/
abstract=2711442
138 Kai-Fu Lee, AI Superpowers: China, Silicon Valley, and the New World Order, Houghton Mifflin Harcourt
(2018). Apesar dessas advertências, o livro é otimista de que a complementaridade entre humanos e IA pode levar a uma coexistência
produtiva entre humanos e IA. Oferecendo uma dose de otimismo para contrariar a previsão da singularidade do Juízo
Final, Lee nos lembra que, quando se trata de moldar a história da IA, nós, humanos, não somos apenas espectadores passivos,
podemos agir. Veja também Kai-Fu Lee, Como a IA pode salvar nossa humanidade, TED, (27 de agosto de 2018) https://
www.youtube.com/watch?v=ajGgd9Ld-Wc
139 Kay Firth-Butterfield , Geração AI: O que acontece quando o amigo do seu filho é um brinquedo de IA que responde?
Fórum Econômico Mundial, 22 de maio de 2018) http://governance40.com/wp-content/uploads/2018/12/Generation
24
Que influência os brinquedos de IA podem ter nas crianças? Além do risco de hacking, também precisamos pensar sobre o que
esses brinquedos estão dizendo aos nossos filhos. Quem é o árbitro dessas conversas? Quem codificou os algoritmos
(seus preconceitos não intencionais podem surgir)? Os valores aos quais a criança está sendo exposta se alinham com os da
pais? Os pais poderão escolher os valores com os quais o brinquedo está codificado?140
Se o brinquedo for educacional, o algoritmo está sendo verificado por alguém que seja pelo menos qualificado para ensinar? Esses
os brinquedos serão muito influentes porque as crianças estarão conversando com eles o tempo todo. Por exemplo, se o
a boneca diz que está frio e a criança pede aos pais que comprem um casaco para ela, isso é propaganda? Se os dados estão sendo
coletados, mesmo que não estejam sendo armazenados, a empresa tem o dever de “alertar” crianças que compartilham
pensamentos ou outro comportamento autodestrutivo? E se a criança confessar ao brinquedo que está sendo maltratada,
a empresa vai relatar isso às autoridades competentes? E então o que a empresa fará com isso
Informação? Então, o que podemos fazer para proteger as crianças?141
Os pais precisam ter respostas para essas perguntas antes de comprar os dispositivos. No mínimo, eles podem verificar
que seu filho está aprendendo valores de brinquedos de IA que coincidem com os seus. No momento, o ônus está em
consumidores saibam o que está sendo feito com seus dados, mas discute-se que as empresas devem ser
responsável por garantir que os consumidores entendam como está sendo usado.142
Um projeto do Fórum Econômico Mundial defende o papel dos reguladores para que eles certifiquem algoritmos adequados para
propósito, ao contrário da situação atual em que os reguladores emitem uma multa depois que algo dá errado. Esse
modelo regulatório é apropriado com IoToys porque é necessário agora e um mecanismo de governança ágil. O
O problema, porém, com a governança de brinquedos inteligentes é que a IA está aprendendo e mudando a cada interação
com a criança. Brinquedos habilitados para IA não são necessariamente ruins. Eles poderiam um dia nos ajudar a alcançar o aprendizado de precisão
(usando IA para adaptar a educação às necessidades de cada criança). Brinquedos de IA podem ser excelentes para preparar as crianças para o trabalho
ao lado de robôs autônomos. A questão é que as crianças são vulneráveis e devemos considerar como a IA é usada
ao redor deles e não teste beta neles.143
Embora o Congresso dos Estados Unidos tenha respondido às ameaças à privacidade de crianças que surgiram na Internet com o
promulgação da COPPA,144 esta estrutura regulatória se aplica apenas a um conjunto limitado de dispositivos IoT, excluindo aqueles
que não são direcionados a crianças nem coletam intencionalmente informações pessoais delas. A COPPA não é adequada para
proteger adequadamente as crianças dos riscos de privacidade que a IoT acarreta, pois não rege muitos IoT
dispositivos aos quais estão expostos. A mudança para uma era “always-on”, na qual muitos dispositivos IoT constantemente
145
coletar dados de usuários, independentemente de sua idade, expõe a todos nós a grandes riscos de privacidade.
A IoT provavelmente desempenhará um papel importante em dispositivos direcionados a crianças em um futuro previsível. presentes IoToys
crianças com brincadeiras interativas. Além de os brinquedos inteligentes serem divertidos, eles poderiam carregar atividades educativas e sociais
benefícios para as crianças:146 oportunidades para aprender, desenvolver e melhorar as habilidades de comunicação; encorajar o jogo ativo
IA-o-que-acontece-quando-o-amigo-do-seu-filho-é-um-brinquedo-IA-que-fala-de-volta-World-Economic-Forum.pdf
Fórum Econômico Mundial, 22 de maio de 2018) http://governance40.com/wp-content/uploads/2018/12/Generation AI-What-
happens-when-your-childs-friend-is-an-AI-toy-that-talks-back-World-Economic-Forum.pdf
142Id.
144Consulte a Lei de Proteção à Privacidade Online das Crianças (COPPA), Pub. L. No. 106–70, 112 Stat. 2681 (1998) (codificado como
alterado em 15 USC §§ 6501–06 (2018))
145Haber, Eldar, Toying with Privacy: Regulating the Internet of Toys (8 de dezembro de 2018). 80 Lei Estadual de Ohio
Journal 399 (2019), Disponível no SSRN: https://ssrn.com/abstract=3298054
25
e interação com brinquedos, que pode ser preferível ao tempo passivo de tela de TV; identificar dificuldades de aprendizagem; e ser
acessível para os pais.147
Os dispositivos IoToys foram criticados por suas possíveis desvantagens educacionais, sociais e psicológicas. Nomear
alguns: fornecer jogo de baixa qualidade; potencialmente prejudicando o desenvolvimento das crianças, impedindo
interação;148 obstruindo o bem-estar e o desenvolvimento saudável das crianças, que exigem relacionamentos reais e
conversas149; e representando um risco para a saúde devido à radiação eletromagnética (EMR).150
No mundo constantemente conectado de hoje, com quase todo mundo tendo acesso à web, onde qualquer um pode
interagir com qualquer pessoa por trás de um véu de anonimato, o mundo enfrenta um risco muito maior de alguém aliciar nosso
crianças sem que saibamos.151 O aliciamento cibernético, uma ameaça real, é uma forma de aliciamento infantil em que o
predador atinge uma criança online, construindo um relacionamento virtual com ela, ganhando sua confiança e aprendendo o
melhor maneira de obter acesso a eles no mundo real.152
Para um predador, conectar-se com crianças online pode ser fácil. Alguns optam por entrar em uma sala de bate-papo para crianças e fingir
ser uma criança enquanto outros jogam um jogo online com eles, onde o predador pode se comunicar em particular com
a criança. Freqüentemente, o predador induz uma criança a confiar neles com presentes e promessas, ao mesmo tempo em que usa a linguagem
que normaliza a linguagem e as ações sexuais.
Os potenciais inconvenientes dos dispositivos IoToys sujeitam as crianças a vários riscos, por exemplo, exposição a produtos nocivos
conteúdo.153 Existe até mesmo o perigo de dano mental e corporal por predadores, alguns dos quais podem ter acesso
146O Smart Toy Awards reconhece brinquedos inteligentes éticos e responsáveis que usam IA para criar uma experiência de jogo
inovadora e saudável para crianças.Beatrice Di Caro, Fórum Econômico Mundial, 21 de maio de 2021 https://
www.weforum.org/agenda/2021/05/smart-toy-awards-ede2d12ced/
147Ver Stéphane Chaudron et al., Kaleidoscope on the Internet of Toys: Safety, Security, Privacy and Societal
Insights, JRC REPRESENTANTE TÉCNICO. 9
(2017), http://publications.jrc.ec.europa.eu/repository/bitstream/JRC105061/jrc105061_final_online.pdf e 5 Benefits of Tech
Toys for Children, ROBO WUNDERKIND (23 de junho de 2017), http://yuriy levin.squarespace.com/blog/
benefits-tech-toys-kids [https:// perma.cc/Q599-U3A8].
148Veja Kate Cox, Defensores da privacidade levantam preocupações sobre o monitor de bebê 'Aristóteles' sempre ativo da Mattel,
CONSUMERIST (10 de maio de 2017), https://consumerist.com/2017/05/10/privacy-advocates-raise-concerns about-mattels-
always-on-aristotle-baby-monitor [https://perma.cc/VP3S-JEHB].
149Veja, por exemplo, Richard Chirgwin, Mattel's Parenting Takeover Continues with Alexa-Like Dystopia, THE REGISTER
(4 de janeiro de
2017), https://www.theregister.co.uk/2017/01/04/mattels_parenting_takeover_continues_with_alexalike_dystopia [https://perma.cc/
NXP5-7GW3]
150Ver Stéphane Chaudron et al., Kaleidoscope on the Internet of Toys: Safety, Security, Privacy and Societal
Insights, JRC REPRESENTANTE TÉCNICO. 9
(2017), http://publications.jrc.ec.europa.eu/repository/bitstream/JRC105061/jrc105061_final_online.pdf
151 Ver Urs Gasser, Colin Maclay, John Palfrey, An Exploratory Study by the Berkman Center for Internet & Society at Harvard
University, in Collaboration with UNICEF, )16 de junho de 2010) https://dmlhub.net/wp content/uploads/files/SSRN-
id1628276.pdf
152Daniel Bennett, O que é cybergrooming e como proteger as crianças? (23 de março de 2020). TechAcute https://
techacute.com/what-is-cyber-grooming/
153Como esses brinquedos dependem de dados armazenados remotamente, eles podem estar sujeitos a conteúdo nocivo, pois as
informações podem se tornar vulneráveis e podem ser alteradas por uma entidade maliciosa que obteve acesso ao brinquedo ou simplesmente dev
para ruim ou erro na programação. Veja, por exemplo, como um mal-entendido levou o Amazon Echo a divulgar termos de
busca por pornografia para uma criança. Amazon Alexa Gone Wild, YOUTUBE (29 de dezembro
de 2016), https://www.youtube.com/watch?v=r5p0gqCIEa8 [https://perma.cc/SE3G-M5ZU]. Veja também como uma equipe de
especialistas invadiu Cayla para citar Hannibal Lecter e falas de 50 Tons de Cinza. Veja David Moye, Boneca Falante
Cayla hackeada para vomitar coisas imundas, HUFFPOST (9 de fevereiro de
2015), http://www.huffingtonpost.com/2015/02/09/my-friend-cayla-hacked_n_6647046.html [https://
perma.cc/78HN-89F6].
26
brinquedos e use-os para ouvir, assistir, rastrear e até entrar em contato direto com as crianças. 154 Juntamente com estes importantes
desafios, esses dispositivos IoToys levantam questões de direitos humanos.155 Potencialmente, eles podem sujeitar as crianças a
vigilância onipresente e datafication, o que poderia impactar profundamente seu direito à privacidade.156
Assim, as atividades de lazer das crianças mudaram significativamente nas últimas duas décadas, desde o envolvimento com brinquedos
com pouca capacidade interativa para brinquedos inteligentes que são capazes de responder de volta.157 Através do uso de fraco
inteligência artificial, estes brinquedos incorporam um conjunto de técnicas que permitem aos computadores imitar a lógica e
interações humanas.158 Esses brinquedos levantam uma série de preocupações relacionadas aos direitos humanos. Estes incluem potencial
violações do direito da criança à privacidade e se as empresas têm (ou deveriam ter) o dever de denunciar
informações que são compartilhadas com um brinquedo e armazenadas online, como indicações de que uma criança pode estar sendo abusada ou
prejudicado de outra forma. 159
154Quando as crianças assumem que é o brinquedo que está “falando” com elas, os predadores podem persuadi-las a transmitir informações
confidenciais. Esses predadores podem obter informações de crianças como onde elas moram e, talvez ainda pior, convencê-las a agir em
seu nome. Veja Abby Haglage, Hackable 'Hello Barbie' the Worst Toy of the Year (and Maybe Ever), DAILY BEAST (10 de dezembro de
2015), http://www.thedailybeast.com/hackablehello-barbie-the-pior-brinquedo-do-ano-e-talvez-de-
sempre [https://perma.cc/85E4-AGQW] . Para uma tipologia de riscos para crianças online, ver ORG. PARA ECON. CO
OPERAÇÃO E DEV. (OCDE), THE PROTECTION OF CHILDREN ONLINE - RECOMENDATION OF THE OECD COUNCIL REPORT
ON RISKS FACED BY CHILDREN ONLINE AND POLICIES TO PROTECT THEM 24–39 (2012), https://www.oecd.org/sti/ieconomy/
childrenonline_with_cover.pdf [https://perma.cc/33T7-R645 ] .
155Verdoodt, Valerie, O papel dos direitos das crianças na regulamentação da publicidade digital (2019). Internacional
Journal of Children's Rights, 27 (3), 455-481, 2019, doi: 10.1163/15718182-02703002., Available at SSRN: https://ssrn.com/abstract=3703312
or http://dx.doi.org/10.2139/ssrn.3703312 (An important domain in which children's rights are reconfigured by internet use, is digital
advertising. New advertising formats such as advergames, personalized and native advertising have permeated the online environments in
which children play, communicate and search for information. The often immersive, interactive and increasingly personalized nature
of these advertising formats makes it difficult for children to recognize and make informed and well-balanced commercial decisions.
This raises particular issues from a children's rights perspective, including inter alia their rights to development (Article 6 UNCRC),
privacy (Article 16 UNCRC), protection against economic exploitation (Article 32 UNCRC), freedom of thought (Article 17 UNCRC)
and education (Article 28 UNCRC). The paper addresses this reconfiguration by translating the general principles and the provisions of
the United Nations Convention on the Rights of the Child into the specific context of digital advertising. Além disso, considera as
diferentes dimensões dos direitos (ou seja, proteção, participação e provisão) e como a comercialização afeta as crianças e como seus
direitos são exercidos.)
156Haber, Eldar, The Internet of Children: Protecting Children's Privacy in A Hyper-Connected World (novembro
21, 2020). 2020 U. Ill. L. Rev. 1209 (2020)., Disponível em SSRN: https://ssrn.com/abstract=3734842
157Chris Nickson, “How a Young Generation Accepts Technology,” A Technology Society, 18 de setembro de 2018, disponível em http://
www.atechnologysociety.co.uk/howyoung-generation-accepts-technology.html. Veja também Laura Rafferty, Patrick CK Hung, Marcelo
Fantinato, Sarajane Marques Peres, Farkhund Iqbal, Sy-Yen Kuo e Shih-Chia Huang, “Towards a Privacy Rule Conceptual Model for Smart
Toys” em Computing in Smart Toys, 85-102, disponível em https://www.researchgate.net/publication/319046589_Towards_a_Privacy_Rule
_Conceptual_Model_for_Sma
rt_Brinquedos. (“Um brinquedo inteligente é definido como um dispositivo que consiste em um componente físico de brinquedo que se conecta a um ou
mais serviços de computação de brinquedo para facilitar a jogabilidade na nuvem por meio de redes e tecnologias sensoriais
para aprimorar a funcionalidade de um brinquedo tradicional. Um brinquedo inteligente neste contexto pode ser efetivamente considerado
uma Internet das Coisas (IoT) com Inteligência Artificial (IA) que pode fornecer experiências de Realidade Aumentada (AR) aos usuários.
Neste artigo, a primeira suposição é que as crianças não entendem o conceito de privacidade e não sabem como se proteger online,
especialmente em um ambiente de mídia social e nuvem. A segunda suposição é que as crianças podem divulgar informações privadas
para brinquedos inteligentes e não estar cientes das possíveis consequências e responsabilidades. Este artigo apresenta um modelo
conceitual de regra de privacidade com os conceitos de brinquedo inteligente, serviço móvel, dispositivo, localização e orientação com
entidades de privacidade relacionadas: finalidade, destinatário, obrigação e retenção para brinquedos inteligentes. Além disso, o artigo
também discute uma implementação da interface do protótipo com exemplos de cenários para trabalhos de pesquisa futuros.”)
27
Existem três nós envolvidos nos processos de brinquedos inteligentes, cada um dos quais vem com um conjunto de desafios e
vulnerabilidades: o brinquedo (que faz interface com a criança), o aplicativo móvel, que funciona como um ponto de acesso para
Conexão Wi-Fi, e a conta online personalizada do brinquedo/consumidor, onde
os dados são armazenados. Esses brinquedos se comunicam com servidores baseados em nuvem que armazenam e processam dados fornecidos pelo
crianças que interagem com o brinquedo.160
As preocupações com a privacidade decorrentes desse modelo podem ser ilustradas pelo caso Cloud Pets161, no qual mais de
800.000 contas de brinquedos foram invadidas, expondo as informações privadas dos clientes (incluindo crianças).162 Em 2017,
mais de dois milhões de mensagens de voz que foram gravadas nesses peluches Cloud Pets foram descobertas
em um banco de dados aberto. Além das inúmeras mensagens de voz de crianças e adultos, o banco de dados incluía
endereços de e-mail das pessoas, senhas, fotos de perfil e até mesmo nomes de crianças e nomes de autorizados
membros da família. Assim, as informações pessoais de mais de 800.000 usuários foram comprometidas.163
O banco de dados que continha todas essas informações não tinha nomes de usuários ou senhas para impedir que alguém
vendo todos os dados. O que é pior, logo um ataque de ransomware aconteceu no banco de dados: os hackers
excluiu os bancos de dados originais, deixando um pedido de resgate. Basicamente, os hackers bloquearam o banco de dados
até que uma certa quantia de dinheiro seja paga.164
Outro exemplo de brinquedos arriscados é a boneca Hello Barbie ,165 que levantou preocupações da sociedade civil em torno do
interceptação de informações confidenciais e se a boneca permitia vigilância generalizada de maneiras que eram
não transparente para os usuários.166 Nesse caso, o fabricante do brinquedo, Mattel – em colaboração com a Toy Talk, Inc.–
167
lançou um FAQ para tentar resolver essas questões prementes. O FAQ afirma que as conversas entre o
158Rafferty et al., “Towards a Privacy Rule,” supra

159Benjamin Yankson, Farkhund Iqbal e Patrick CK Hung, “Privacy Preservation Framework for Smart Connected Toys,” Computing
in Smart Toys, https://www.researchgate.net/publication/
319048771_Privacy_Preservation_Framework_for_Smart_Connect
ed_Toys (“Os avanços na indústria de brinquedos e a interconectividade resultaram em um desenvolvimento rápido e generalizado
do Smart Connected Toy (SCT), construído para ajudar as crianças na aprendizagem, socialização e desenvolvimento. UM SCT
é um artefato de incorporação física que atua como uma interface de usuário filho para serviços de computação de brinquedo em nuvem.
Esses SCTs são construídos como parte da Internet das Coisas (IoT) com o potencial de coletar terabytes de informações pessoais
e de uso. Eles introduzem o conceito de aumentar a privacidade e sérias preocupações de segurança para crianças, que são o
setor vulnerável de nossa comunidade e devem ser protegidas da exposição de conteúdo ofensivo, violência, abuso sexual e
exploração usando SCTs. SCTs são capazes de coletar dados sobre o contexto
do estado de atividade física do usuário infantil (por exemplo, voz, andar, ficar em pé, correr, etc.) e armazenar personalizado
informações (por exemplo, localização, padrão de atividade, etc.) por meio de câmera, microfone, Sistema de Posicionamento
Global (GPS) e vários sensores, como reconhecimento facial ou detecção de som. Neste capítulo, vamos discutir a seriedade da
implicação de privacidade para esses dispositivos, pesquisar trabalhos relacionados a questões de privacidade dentro do domínio de
SCT e discutir algumas perspectivas globais (legislação, etc.) sobre esses dispositivos. O capítulo conclui propondo algumas
práticas recomendadas comuns para pais e fabricantes de brinquedos que podem adotar como parte do corpo de conhecimento
comum de privacidade de brinquedos inteligentes conectados para segurança infantil.”)
160Rafferty et al., “Towards a Privacy Rule,” supra
161 https://en.wikipedia.org/wiki/CloudPets
162Alex Hern, “Brinquedos de pelúcia CloudPets vazam detalhes de meio milhão de usuários,” The Guardian,
https://www.theguardian.com/technology/2017/feb/28/cloudpets-data-breach-leaksdetails-of-500000-
crianças e adultos, (28 de fevereiro de 2017).
163Marija Perinic, Cloud Pets: The Cuddly Cyber Security Risk, Secure Thoughts, (11 de maio de 2021) https://
securethoughts.com/cloudpets-app/
164Id.
165Ver Valerie Steeves, 'Uma análise dialógica das conversas da Hello Barbie com crianças' (2020) 7(1) Big Data &
Sociedade, https://journals.sagepub.com/doi/pdf/10.1177/2053951720919151
166Corinne Moini, “Protecting Privacy in the Era of Smart Toys: Does Hello Barbie Have a Duty to Report,” 25 Cath. UJL & Tech 281,
(2017), 4. https://scholarship.richmond.edu/law-student-publications/157/
167Mattel, “Hello Barbie Frequently Asked Questions,” (2015), http://
hellobarbiefaq.mattel.com/wp-content/uploads/2015/12/hellobarbie-faq-v3.pdf
28
boneca e a criança não podem ser interceptadas via tecnologia Bluetooth porque a conversa ocorre em um
rede segura, impossibilitando a conexão da boneca via Bluetooth. 168O documento desaconselha
conectar a boneca a Wi-Fi de terceiros, que pode ser especialmente vulnerável à interceptação.169
Além disso, o documento afirma que a boneca Hello Barbie nem sempre está ouvindo, mas fica inativa quando não está ouvindo.
expressamente contratado.170 De acordo com o documento divulgado pela Mattel, a boneca possui tecnologia de reconhecimento semelhante
à Siri e é ativado apenas quando o usuário abaixa a fivela do cinto da boneca.171 Por fim , a empresa afirma que
a boneca não faz perguntas que visam obter informações pessoais, a fim de minimizar o
circunstâncias em que uma criança pode divulgar informações confidenciais durante sua conversa com a boneca.172
Notavelmente, os pais podem acessar a conta de nuvem ToyTalk de seus filhos e ouvir o que seus filhos disseram, excluindo
qualquer informação pessoal.173 Como salvaguarda, a ToyTalk também participa do Programa KidSafe Seal da FTC, um
174
programa de conformidade para sites e serviços online voltados para crianças. Existem dois tipos de
certificados que um site ou serviço online pode obter: o certificado KidSafe e o certificado KidSafe+. 175
O certificado KidSafe+ requer requisitos adicionais e conformidade com a COPPA.176 As comunicações

entre Hello Barbie e uma criança são criptografados e armazenados em uma rede confiável.177
Uma preocupação importante, apesar dessas salvaguardas, é se uma empresa tem o dever de relatar ou, de outra forma, “bandeira vermelha”
informações confidenciais compartilhadas por meio de seus brinquedos178 - por exemplo, crianças que revelam que estão sendo abusadas ou
crianças que compartilham pensamentos suicidas ou outros comportamentos relacionados à automutilação.179
168 Corinne Moini, Protegendo a privacidade na era dos brinquedos inteligentes: a Hello Barbie tem o dever de relatar,
Revista de Direito e Tecnologia da Universidade Católica, nº 25 (2017): 4; Olá Barbie FAQ
169Vlahos, James, “Barbie quer conhecer seu filho”, New York Times, (16 de setembro de 2015). See Hello Barbie Security:
Part 1 – Teardown, Somerset Recon, (Nov. 20, 2015) https://www.somersetrecon.com/
blog/2015/11/20/hello-barbie-security-part-1-teardown and Hello Barbie Security: Part 2 – Analysis, Somerset Recon, (Jan. 25,
2016) https://www.somersetrecon.com/blog/2016/1/21/hello-barbie-
security-part-2-analysis (“In the end, we believe that ToyTalk started off well by utilizing pre-designed hardware and
software, but fell short when it came to their web security. The number of vulnerabilities found in both ToyTalk's websites and
web services, and in such a short amount of time, indicate that they had little to no pre-production security analysis
and are relying on their bug bounty program to patch up the holes. However, this could have been easily remedied by
hiring a professional security team to audit the attack surface that is left. It also seems that the KidSafe Seal Program does not
provide strict or clear enough information security requirements for web related technologies. No final, é uma decisão dos
pais sobre a confiança que depositam no ToyTalk. Se os servidores da ToyTalk forem invadidos, eles não serão a primeira
empresa a vazar informações pessoais sobre crianças para hackers. Cabe aos pais decidir se querem correr esse risco.”)
170Mattel, “Hello Barbie Frequently Asked Questions,” (2015), http://

hellobarbiefaq.mattel.com/wp-content/uploads/2015/12/hellobarbie-faq-v3.pdf.
171Id.
172Id.
173Id.
174Federal Trade Commission, “KidSafe Seal Program:Certification Rules Version 3.0 (Final),”
https://www.ftc.gov/system/files/attachments/press-releases/ftc-approves-kidsafe-safeharbor-program/
regras de certificação do kidsafe sealprograms ftcapprovedkidsafe-coppaguidelinesfeb_2014.pdf [doravante KIDSAFE
SEAL PROGRAM], (2014).
175Federal Trade Commission, “KidSafe Seal Program,” (2014).
176Corinne Moini, “Protecting Privacy in the Era of Smart Toys: Does Hello Barbie Have a Duty to Report,” 25
Cat. UJL & Tech 281(2017), 12-291.
177Hello Barbie FAQs, supra nota 3, em 4-5.
178 Woodrow Hartzog, robôs injustos e enganosos, 74 MD. L. REV. 785, 787 (2015) (argumentando que crianças pequenas
podem se apegar a robôs “agindo de forma autônoma” e “revelando segredos que não contariam a seus pais ou professores”).
179Corinne Moini, “Protecting Privacy in the Era of Smart Toys: Does Hello Barbie Have a Duty to Report,” 25 Cath. UJL & Tech
281 (2017). https://scholarship.richmond.edu/law-student-publications/157/
29
As leis de privacidade existentes e os deveres de responsabilidade civil de direito consuetudinário não fornecem proteção diretamente relevante. Para
Por exemplo, enquanto a COPPA protege os direitos de privacidade de menores de treze anos, exigindo que as empresas
obter o consentimento dos pais e divulgar quais informações estão sendo coletadas sobre um menor, isso não impõe
quaisquer requisitos de relatórios sobre suspeita de abuso infantil e negligência. 180
Em última análise, a maioria dos mecanismos para lidar com esses desafios foi projetada pelas próprias corporações.
Por exemplo, acabar com a disseminação de material de abuso sexual infantil (CSAM) é uma prioridade para as grandes empresas da Internet
empresas e moderadores de conteúdo. Mas também é um trabalho difícil e angustiante para quem está na linha de frente, humano
moderadores que devem identificar e remover conteúdo abusivo. O Google lançou um software gratuito de IA projetado para
ajudar esses indivíduos.181
A maioria das soluções tecnológicas neste domínio funciona comparando imagens e vídeos com um catálogo de
materiais abusivos. (Veja, por exemplo: PhotoDNA182, uma ferramenta desenvolvida pela Microsoft e implantada por empresas como
Facebook e Twitter.) Esse tipo de software, conhecido como “rastreador”, é uma maneira eficaz de impedir que as pessoas compartilhem
CSAM previamente identificado conhecido. Mas não pode capturar material que ainda não tenha sido marcado como ilegal. Para
isso, os moderadores humanos devem intervir e revisar o conteúdo por conta própria.183
É aqui que a nova ferramenta de IA do Google pretende ajudar. Usando a experiência da empresa em visão de máquina, auxilia
moderadores classificando imagens e vídeos sinalizados e “priorizando o conteúdo CSAM mais provável para revisão”. Esse
deve permitir um processo de revisão muito mais rápido. Em um teste, diz o Google, a ferramenta AI ajudou um moderador
“agir em 700% mais conteúdo CSAM no mesmo período.”184
Fred Langford, vice-CEO da Internet Watch Foundation185 (IWF), disse que o software “ajudaria equipes como
nós mesmos empregamos nossos recursos limitados com muito mais eficiência”. “No momento, usamos apenas humanos para ir
através do conteúdo e dizer 'sim', 'não', diz Langford. “Isso vai ajudar na triagem.”
180 “Regra de proteção de privacidade on-line infantil”, 16 CFR 312.1 (2001). Ver também Corinne Moini, “Protecting Privacy in the
Era of Smart Toys: Does Hello Barbie Have a Duty to Report,” 25 Cath. UJL & Tech 281 (2017). https://scholarship.richmond.edu/
law-student-publications/157/
181 James Vincent, “Google lança ferramenta gratuita de IA para ajudar empresas a identificar material de abuso sexual infantil,” The
Verge, https://www.theverge.com/2018/9/3/17814188/googleai-child-sex-abuse-material-moderation-tool internetwatch-foundation,
03 de setembro de 2018. Veja também Nikola Todorovic e Abhi Chaudhuri, Usando AI para ajudar organizações a detectar e denunciar
material de abuso sexual infantil online, GOOGLE IN EUROPE, (3 de setembro de 2018) https://www.blog .google/around-the-
globe/google-europe/using-ai-help-organizations-detect-and report-child-sexual-abuse-material-online/
182 https://www.microsoft.com/en-us/photodna Em 2009, a Microsoft fez parceria com o Dartmouth College para desenvolver
PhotoDNA, uma tecnologia que ajuda a encontrar e remover imagens conhecidas de exploração infantil. Hoje, o PhotoDNA é
usado por organizações em todo o mundo e ajudou na detecção, interrupção e denúncia de milhões de imagens de exploração
infantil. Eu ia.
183Id.
184Id.
185 https://www.iwf.org.uk/ (“Nossa visão é eliminar imagens on-line de abuso sexual infantil.”) (““IWF é um dos
as linhas directas europeias mais activas e eficazes na luta contra a exploração sexual infantil. O trabalho desenvolvido pela IWF
no processo de notificação e remoção, em estreita cooperação com a aplicação da lei, é um exemplo a seguir. “A contribuição da IWF
para a Avaliação Estratégica sobre a Exploração Sexual Comercial de Crianças Online, produzida pela Europol no âmbito da
Coalizão Financeira Europeia contra a Exploração Sexual Comercial de Crianças, foi excelente. As descobertas analíticas
compartilhadas pela IWF e o trabalho desenvolvido por meio de iniciativas como o Website Brands Project têm sido uma
fonte inestimável de informações para a comunidade de aplicação da lei. “A Europol continuará cooperando ativamente com a IWF
para alcançar nossos objetivos comuns: erradicar a produção e disseminação de material de abuso infantil através da internet. O
a dedicação e o comprometimento da equipe da IWF são excelentes." Troels Oerting, ex-chefe do EC3, European Cybercrime
Centre) Id.
30
A IWF é uma das maiores organizações dedicadas a impedir a propagação do CSAM online. Tem sede no Reino
Unido, mas é financiado por contribuições de grandes empresas internacionais de tecnologia, incluindo o Google.
Ele emprega equipes de moderadores humanos para identificar imagens de abuso e opera linhas de denúncia em
mais de uma dúzia de países para que os usuários da Internet denunciem material suspeito. Também realiza suas
próprias operações investigativas; identificando sites onde o CSAM é compartilhado e trabalhando com a aplicação
da lei para desligá-los.186 Langford diz que, devido à natureza das "reivindicações fantásticas feitas sobre IA", a IWF
testará a nova ferramenta de IA do Google minuciosamente para ver como ela funciona e se encaixa no fluxo de
trabalho dos moderadores. Ele acrescentou que ferramentas como essa são um passo em direção a sistemas
totalmente automatizados que podem identificar materiais inéditos sem nenhuma interação humana. “Esse tipo de
classificador é um pouco como o Santo Graal em nossa arena.” Mas, acrescentou, essas ferramentas só devem ser
confiáveis em casos “claros” para evitar que material abusivo escape da rede. “Alguns anos atrás, eu diria que esse
tipo de classificador estava a cinco, seis anos de distância”, diz Langford. “Mas agora acho que estamos apenas a um ou dois anos
No caso da Hello Barbie, o ToyTalk criou respostas automáticas para conversas sérias, como bullying ou abuso. Tais
respostas incluem “isso soa como algo sobre o qual você deveria conversar com um adulto ”.188 Embora seja um
passo importante para abordar essa questão, essa abordagem potencialmente transfere qualquer responsabilidade
de agir para os pais ou para a própria criança. Não está claro quantas crianças agiriam de acordo com essa resposta
para relatar problemas a um adulto ou o que isso significa para as crianças se um adulto em sua casa for o perpetrador
do dano.
Ferramentas tecnológicas modernas podem projetar brinquedos "seguros para crianças", para evitar que os usuários prejudiquem a si mesmos e aos outros.
A programação de IA pode atingir danos morais e físicos. O iPhone foi projetado para permitir que a Apple remova
aplicativos dos dispositivos dos usuários, um recurso que utilizou para extirpar aplicativos sexualmente sugestivos
no início de 2010. O governo pode aproveitar cada vez mais essa possibilidade. Em um mundo cada vez mais digital,
o governo pode manipular o design tecnológico para dificultar ou impossibilitar a violação de leis usando dispositivos
digitais. 189
Inteligência Artificial na Educação (AIEd) e EdTech: Direitos da Criança e Educação
A introdução da inteligência artificial na educação (“AIEd”) terá um impacto profundo na vida das crianças e jovens.
Existem diferentes tipos de sistemas de inteligência artificial de uso comum na educação, ao lado do crescimento
dos monopólios comerciais do conhecimento. As questões de direitos de privacidade de dados para crianças e
jovens estão se tornando cada vez mais pronunciadas. Alcançar um equilíbrio entre justiça, direitos pedagógicos
individuais, direitos de privacidade de dados e uso eficaz de dados é um desafio difícil, e não é facilmente apoiado
pela regulamentação atual, e muitos continuam a buscar o uso democraticamente consciente e responsável para o
uso de inteligência artificial nas escolas.190
O papel e a função da educação não podem ser exagerados. A educação aprimora e desenvolve habilidades humanas,
consciência, identidade, integridade, potencial e autonomia.191 A IA pode ser bem-vinda como um complemento aos
processos educacionais, mas seu desenho deve ser focado nos direitos de seus usuários infantis.
186Id.
187Id.
188Mattel, “Olá Barbie Perguntas Frequentes.”
189Rosenthal, Daniel M., Assessing Digital Preemption (and the Future of Law Enforcement?) (5 de janeiro de 2011).
New Criminal Law Review, outono de 2011, disponível em SSRN: https://ssrn.com/
abstract=1735479 190Leaton Gray, S; (2020) Inteligência artificial nas escolas: Rumo a um futuro democrático.
Educação , London Review of 18 (2) pp. 163-177. 10.14324/lre.18.2.02.
191Lee, Jootaek, O direito humano à educação: definição, pesquisa e bibliografia anotada (novembro
18, 2019). Emory International Law Review, vol. 34, nº 3, 2019, Disponível no SSRN:
https://ssrn.com/abstract=3489328
31
Porque o direito à educação foi reconhecido como um direito humano e definido em vários direitos humanos
192 Artigo da DUDH
instrumentos em vários contextos, esse direito pode ser reivindicado contra os Estados e suas agências.
26(1) afirma que “todos têm direito à educação.”193 Isso implica que todo ser humano, não apenas os jovens,
Tem o direito. Artigo 18 do Pacto Internacional sobre Direitos Civis e Políticos (PIDCP) e Artigo 12 do
Convenção Internacional sobre a Proteção dos Direitos de Todos os Trabalhadores Migrantes e Membros de Suas Famílias
194
(MWC) protegem o direito dos pais de controlar a educação religiosa e moral de seus filhos. De acordo com o Artigo 13(1)
do Pacto Internacional sobre Direitos Econômicos, Sociais e Culturais (PIDESC), os Estados Partes reconhecem o direito
de todos à educação.195 O Artigo 28(1) da Convenção sobre os Direitos da Criança (CDC) também reconhece o
direito da criança à educação como um direito progressista.196 As Nações Unidas para a Educação, a Ciência e a Cultura
A Convenção Contra a Discriminação na Educação da UNESCO (UNESCO) também proíbe a discriminação em termos de
197
acesso à educação, o padrão e a qualidade da educação e as condições sob as quais a educação é ministrada.
Artigo 5(v) da Convenção Internacional sobre a Eliminação de Todas as Formas de Discriminação Racial (ICERD)
exorta os Estados a não discriminarem racialmente quando seus cidadãos desfrutam do direito à educação e treinamento.198 Artigo
10 da Convenção sobre a Eliminação de Todas as Formas de Discriminação contra a Mulher (CEDAW) reconhece
direitos iguais das mulheres à educação.199
O artigo 24 da Convenção sobre os Direitos das Pessoas com Deficiência (CDPD) reconhece o direito das pessoas
com deficiência à educação.200 O MWC reconhece o direito de acesso dos trabalhadores migrantes e de seus filhos
educação.201A Convenção Relativa ao Estatuto dos Refugiados (Convenção sobre Refugiados de 1951) também reconhece
direitos iguais dos refugiados à educação elementar e tratamento mais favorecido a outras educações.202 Em 2007, o
A Assembleia Geral aprovou por maioria esmagadora a Declaração das Nações Unidas sobre os Direitos dos Povos Indígenas
203
(UNDRIP), que inclui o direito à educação. 204Dentro de vários anos, as quatro nações em oposição - o
192Krajewski, Markus, O dever do Estado de proteger contra violações de direitos humanos por meio de atividades
comerciais transnacionais (3 de dezembro de 2018). Deakin Law Review, vol. 23, 2018, Disponível em SSRN:
https://ssrn.com/abstract=3295305 ou http://dx.doi.org/10.2139/ssrn.3295305
193 Declaração Universal dos Direitos Humanos (10 de dezembro de 1948), art. 26 [doravante DUDH].
194 Pacto Internacional sobre Direitos Civis e Políticos art. 18, aberto para assinatura em 19 de dezembro de 1966, 999 UNTS
171; Convenção Internacional sobre a Proteção dos Direitos de Todos os Trabalhadores Migrantes e Membros de Suas
Famílias art. 12, 18 de dezembro de 1990, 2220 UNTS 3 [doravante MWC].
195 Pacto Internacional sobre Direitos Econômicos, Sociais e Culturais art 13(1), aberto para assinatura em 19 de dezembro de
1966, 993 UNTS 3.
196Convenção dos Direitos da Criança art. 28(1), aberto para assinatura em 20 de novembro de 1989, 1577 UNTS 3.
197Convenção Contra a Discriminação na Educação arts. 1–3, 14 de dezembro de 1960, 429 UNTS 93 (entrou em vigor
22 de maio de 1962).
198 Convenção Internacional sobre a Eliminação de Todas as Formas de Discriminação Racial art. 5(v), aberto para
assinatura 7 de março de 1966, 660 UNTS 195.
199 Convenção sobre a Eliminação de Todas as Formas de Discriminação Contra a Mulher art. 10, aberto para assinatura em 1º
de março de 1980, 1249 UNTS 13.
200Convenção dos Direitos das Pessoas com Deficiência art. 24, aberto à assinatura em 30 de março de 2007, 2515
UNTS 3.
201 Convenção Internacional sobre a Proteção dos Direitos de Todos os Trabalhadores Migrantes e Membros de Suas
Famílias art. 12, 18 de dezembro de 1990, 2220 UNTS 3 arts. 30, 43(1)(a).
202 Convenção Relativa ao Estatuto dos Refugiados art. 22, 28 de julho de 1951, 189 UNTS 137.
203G.A. Res. 61/295, ¶ 12, UN Doc. A/RES/61/295 (13 de setembro de 2007) [doravante UNDRIP]; ver também WALTER R. ECHO-
HAWK, IN THE LIGHT OF JUSTICE: THE RISE OF HUMAN RIGHTS IN NATIVE AMERICA AND THE UN DECLARATION ON
THE DIREITOS DOS POVOS INDÍGENAS 3 (2013) (descrevendo a UNDRIP como “um evento marcante que promete
moldar a humanidade na era pós-colonial”). Veja também, veja, por exemplo, Lorie M.
Graham & Siegfried Wiessner, Soberania Indígena, Cultura e Direito Internacional dos Direitos Humanos, 110 S.
ATLANTIC Q. 403, 405 (2011) (analisando o reconhecimento das disposições da UNDRIP como direito internacional
consuetudinário).
204UNDRIP, supra. A versão da Declaração apresentada à Assembléia Geral afirmava que os povos indígenas têm direito ao pleno
gozo, “como coletivo ou como indivíduos”, de todos os direitos humanos reconhecidos pela
a Carta das Nações Unidas, a Declaração Universal dos Direitos Humanos e o direito internacional dos direitos humanos. Ele manteve o
linguagem dos primeiros rascunhos sobre “povos indígenas” e “autodeterminação”, bem como
32
Estados Unidos, Canadá, Nova Zelândia e Austrália—todos inverteram suas posições.205 UNDRIP reconhece direitos
comuns à humanidade – como não discriminação, igualdade e propriedade – e contextos para o gozo de
aqueles direitos que podem parecer mais particulares aos povos indígenas, como o apego espiritual às tradições
terras e um foco nos direitos da comunidade.206
À medida que o mundo se aprofunda no espaço digital, há uma necessidade crescente de explorar o impacto de novos
tecnologias digitais sobre o direito da criança à educação. Conceituar a educação como um direito humano requer
maior atenção ao 4A-framework207 das Nações Unidas (acessibilidade, adaptabilidade, aceitabilidade e
disponibilidade): a acessibilidade e adaptabilidade dos ambientes escolares, para além da mera aceitabilidade e
disponibilidade. As novas tecnologias impactaram todos esses critérios, pois o setor educacional continua a capitalizar
208
sobre oportunidades emergentes.
Dependendo da conectividade e dos recursos, os países em todo o mundo optaram por diferentes infraestruturas de TIC
para apoiar a aprendizagem remota. Juntamente com as plataformas digitais, as mídias sociais, plataformas de rádio e TV foram usadas
para garantir a continuidade da educação para todos os cantos do mundo. Não obstante, esta transição para a aprendizagem digital
ampliou as desigualdades sociais, pois crianças que vivem em locais remotos com pouca ou nenhuma conexão com a Internet
lutam para obter acesso a serviços online.209 Embora a tecnologia seja projetada para conectar pessoas alcançando
áreas frequentemente excluídas, apenas alguns sistemas educacionais em todo o mundo foram capazes de responder adequadamente às
os desafios da pandemia de COVID-19.210 Essa questão de acessibilidade deve ser abordada.
terras, desenvolvimento econômico, educação, bem-estar familiar e infantil, autogoverno, cultura, religião, expressão
e outros. As principais disposições exigem que os Estados obtenham “consentimento livre, prévio e informado antes
de adotar e implementar medidas legislativas ou administrativas” que afetem os povos indígenas.
205Carpenter, Kristen A. e Riley, Angela, Indigenous Peoples and the Jurisgenerative Moment in Human Rights (18 de
fevereiro de 2013). Califórnia Law Review, vol. 102, 2014, 192 Disponível em SSRN: https://ssrn.com/
abstract=2220573
206Ver Julian Burger, Declaração da ONU sobre os Direitos dos Povos Indígenas: da advocacia à
Implementação, em Stephen Allen e Alexandra Xanthaki, eds., Reflexões sobre a Declaração da ONU sobre os Direitos dos
Povos Indígenas em 41, 42–43 (“[A Declaração] responde aos problemas da vida real que ameaçam a existência dos
povos indígenas identificados pelos próprios povos indígenas. Uma das características notáveis do Grupo de Trabalho...
poderia o reconhecimento da relação espiritual dos povos indígenas com suas terras ser incluído em um instrumento
internacional de direitos humanos, senão por meio de inúmeras histórias desse vínculo não materialista e harmonioso entre
o homem e a natureza?”).
207 https://sdgs.un.org/goals/goal4
208Vanessa Cezarita Cordeiro, Tecnologia educacional (EdTech) e direito das crianças à privacidade, Humanium, (15 de
junho de 2021) https://www.humanium.org/en/educational-technology-edtech-and-childrens-right-to privacy/ Educação
https:// Disponível em: https://aberta.org.br/educacao-dados-e-plataformas/ Veja também UNESCO, ODS4,
en.unesco.org/gem-report/sdg-goal-4 030 Agenda para o Desenvolvimento Sustentável em Nova York. A agenda
contém 17 objetivos, incluindo um novo objetivo de educação global (ODS 4).
O ODS 4 é garantir educação de qualidade inclusiva e equitativa e promover oportunidades de aprendizagem ao longo da
vida para todos' e tem sete metas e três meios de implementação. Este objetivo foi concretizado por meio de um intenso
processo consultivo liderado pelos Estados-membros, mas com ampla participação da sociedade civil, professores,
sindicatos, agências bilaterais, organizações regionais, setor privado e institutos de pesquisa e fundações.
209 Human Rights Watch, COVID-19 e Direitos das Crianças, (9 de abril de 2020)
https://www.hrw.org/news/2020/04/09/covid-19-and-childrens-rights#_Toc37256528
210 Mercedes Mateo Diaz e Changha Lee, A Silent Revolution, em O que a tecnologia pode e não pode fazer pela educação -
uma comparação de 5 histórias de sucesso, Banco Interamericano de Desenvolvimento, (2020) https://
publications.iadb.org/publications/english/document/What-Technology-Can-and-Cant-Do-for Education-A-
Comparison-of-5-Stories-of-Success.pdf
33
O que é AIEd e EdTech?
AIEd é a mais recente inovação em tecnologia educacional, também conhecida como EdTech, normalmente definida como o setor de
tecnologia dedicada ao desenvolvimento e aplicação de ferramentas para fins educacionais. A introdução de
essas tecnologias representam inúmeros desafios aos direitos das crianças à privacidade.
Educação e desenvolvimento infantil
Como foi demonstrado, o ambiente digital molda o desenvolvimento das crianças de diferentes maneiras.211 Tecnologia
permeia a maioria das áreas do dia-a-dia das crianças, criando oportunidades para uma maior aprendizagem, comunicação
e desenvolvimento, bem como novos riscos para a realização dos direitos humanos das crianças. No campo educacional,
A tecnologia forneceu novos meios para compartilhar e comunicar informações, conectando a escola
comunidades além da sala de aula e adaptando a oferta de educação para cada criança, entre outros
inovações.212 No entanto, com esses desenvolvimentos surgem novos desafios.
AIEd e privacidade infantil
As ferramentas e o software utilizados nas salas de aula para aprimorar as experiências de aprendizado estão evoluindo rapidamente. Do uso de
IA emocional avançada e reconhecimento facial, até a simples migração de material educacional para o online
plataformas compartilhadas, as experiências de aprendizagem das crianças estão rapidamente se tornando entrelaçadas com a tecnologia. Todos esses
ferramentas destinadas a apoiar e facilitar a educação infantil são consideradas EdTech, e seu surgimento tem
apresentou novos desafios para crianças e implementadores de tecnologia. Conforme descrito pelo Conselho da Europa,
A EdTech é frequentemente “implantada sem que vários atores estejam sempre cientes dos desafios da vida privada das crianças
e proteção de dados pessoais”.213
Numerosas publicações relatam problemas problemáticos com EdTech que resultam na coleta e processamento de
dados pessoais de crianças sem garantir seu melhor interesse apenas para fins comerciais
exploração de crianças. 214
Na pressa de implementar novas tecnologias, os reguladores educacionais falharam em garantir que os dados infantis sejam adequadamente
protegido. Os dados educacionais das crianças são “muito menos protegidos” do que os dados de saúde, e um grande número de países
não têm leis de privacidade de dados que protegem explicitamente as crianças. Sem regulamentação adequada, informações confidenciais
211Conselho da Europa. (2020, 20 de novembro). Comitê Consultivo da Convenção para a Proteção da

indivíduos no que diz respeito ao processamento automático de dados pessoais. 'Proteção de dados infantis em diretrizes de
estabelecimento de educação.' ; https://rm.coe.int/t-pd-2019-6bisrev5-eng-guidelines-education-setting-plenary-clean
2790/1680a07f2b Ver também Conselho da Europa. (2020, 27 de novembro). 'Proteja os dados pessoais das crianças em um
ambiente educacional.' https://www.coe.int/en/web/data-protection/-/protect-children-s-personal-data-in education-setting-
e Jen Persson, diretora da defenddigitalme, Proteção de dados infantis em sistemas educacionais: desafios e soluções
possíveis, (15 de novembro de 2019) 1680a01b47 (coe.int)
estabelecimento de educação.'
213Conselho da Europa. (2020, 27 de novembro). 'Proteja os dados pessoais das crianças em um ambiente educacional.'
214Vanessa Cezarita Cordeiro, Tecnologia educacional (EdTech) e direito das crianças à privacidade, Humanium, (15 de junho
de 2021) https://www.humanium.org/en/educational-technology-edtech-and-childrens-right-to privacy/ Ver também O
Regulamento Geral de Proteção de Dados, exige que os dados pessoais sejam “tratados de forma lícita, justa e transparente em
relação ao titular dos dados” Artigo 5(1)(a) do GDPR. Consulte também Jones, Meg e Kaminski, Margot E., An American's
Guide to the GDPR (5 de junho de 2020). Denver Law Review, vol. 98, nº 1, pág. 93, 2021, U of Colorado Law Legal Studies
Research Paper No. 20-33, disponível em SSRN: https://ssrn.com/abstract=3620198 Consulte geralmente A proteção de dados
começa com uma proibição: não se pode processar dados pessoais a menos que uma condição legal se aplique GABRIELA
ZANFIR-FORTUNA & TERESA TROESTER-FALK, FUTURE OF PRIV. F. E NYMITY, PROCESSANDO DADOS PESSOAIS COM
BASE EM INTERESSES LEGÍTIMOS SOB O GDPR: CASOS PRÁTICOS 3–4 (2018) https://www.ejtn.eu/PageFiles/17861/
Deciphering_Legitimate_Interests_Under_the_GDPR%20(1).pdf
34
215
sobre crianças – como seus nomes, endereços e comportamentos – estão abertos à exploração. Em 2020, vários
plataformas populares de ensino à distância atraíram críticas por sua coleta, compartilhamento e gerenciamento de dados infantis.216
A pesquisa do Projeto eQuality 217 lista algumas das preocupações mais prementes sobre o uso da EdTech:
rastreamento da atividade estudantil dentro e fora da sala de aula, discriminação contra crianças de
comunidades, violações da proteção e autonomia de dados infantis e venda de dados infantis a terceiros privados
como empresas de publicidade.218 Essas preocupações só podem ser superadas se os educadores estiverem atentos aos termos
e condições do software em uso, seja ele projetado para fins educacionais ou não (como
aplicativos de videoconferência como Zoom ou Skype).
Mesmo as tecnologias destinadas a outros fins, mas utilizadas como ferramentas educativas, necessitam de maior atenção
suas políticas e restrições de proteção de dados. Versões recentes do Zoom, por exemplo, afirmavam que os dados coletados
dos alunos incluiu seu nome, escola, dispositivos e conexões de internet, e detalhes sobre o conteúdo
visualizados por crianças e sua comunicação com outras pessoas por meio desses dispositivos. Notavelmente, o consentimento com as políticas da Zoom é
dado pelo “assinante da escola”, ao invés de uma criança ou seu responsável, tornando a apólice inconsistente com
o direito das crianças de participar das decisões que as afetam de acordo com a CDC.219
COVID-19 e AIEd
O COVID-19 exacerbou muito os riscos EdTech pré-existentes. Da noite para o dia, a educação foi forçada a depender de
tecnologia, em vez de simplesmente utilizá-la para permitir novos métodos de ensino. Somente na primavera de 2020,
escolas em 192 países foram fechadas.220 Estimativas da UNESCO apóiam essa afirmação, afirmando que 91% dos
a população estudantil do mundo estava fora da escola em abril de 2020.221 Isso salvou a EdTech de uma entrada
fenômeno a uma necessidade virtual como um dos principais meios para a entrega de educação. esta ocorrência
222
tem sido descrito como o “maior experimento de ensino a distância da história”, nos aproximando do que o The
Economist apelidou de “o coronopticon” – uma nova e corajosa era de vigilância e controle de dados catalisada por
215Hye Jung Han, À medida que as escolas fecham por causa do coronavírus, proteja a privacidade das crianças no aprendizado on-line, Direitos humanos
Assista, (27 de março de 2020) https://www.hrw.org/news/2020/03/27/schools-close-over-coronavirus-protect kids-
privacy-online-learning#
216Hye Jung Han, À medida que as escolas fecham por causa do coronavírus, proteja a privacidade das crianças no aprendizado on-line, Direitos Humanos
Assista, (27 de março de 2020) https://www.hrw.org/news/2020/03/27/schools-close-over-coronavirus-protect kids-
privacy-online-learning#
217http://www.equalityproject.ca/
218Jane Bailey, Jacquelyn Burkell, Priscilla Regan e Valerie Steeves, 'A privacidade das crianças está em risco com a rápida
muda para educação on-line sob coronavírus.' The Conversation, (12 de abril de 2020)
https://theconversation.com/childrens-privacy-is-at-risk-with-rapid-shifts-to-online-schooling-under
coronavirus-135787
219Jane Bailey, Jacquelyn Burkell, Priscilla Regan e Valerie Steeves, 'A privacidade das crianças está em risco com as
rápidas mudanças para o ensino online sob o coronavírus.' The Conversation, (12 de abril
de 2020) https://theconversation.com/childrens-privacy-is-at-risk-with-rapid-shifts-to-online-schooling-under
coronavirus-135787
220 Mercedes Mateo Diaz e Changha Lee, A Silent Revolution, em O que a tecnologia pode e não pode fazer pela educação
- uma comparação de 5 histórias de sucesso, Banco Interamericano de Desenvolvimento, (2020) https://
publications.iadb.org/publications/english/document/What-Technology-Can-and-Cant-Do-for Education-A-
Comparison-of-5-Stories-of-Success.pdf
221Human Rights Watch. (2020, 9 de abril). 'COVID-19 e os Direitos da Criança'.
222Mercedes Mateo Diaz e Changha Lee, A Silent Revolution, em O que a tecnologia pode e não pode fazer pela
educação - uma comparação de 5 histórias de sucesso, Banco Interamericano de Desenvolvimento,
(2020) https://publications.iadb.org/publications/english/document/What-Technology-Can-and-Cant-Do-for
Education-A-Comparison-of-5-Stories-of-Success.pdf
35
decisões tecnológicas precipitadas sob COVID-19.223 Organizações como Media Smarts,224, Common Sense Media,225 ,
Consortium for School Networking,226 e Future of Privacy Forum,227 atualizaram seus sites para fornecer
informações sobre práticas de privacidade e proteção de dados de produtos e serviços edtech. o pai de dois
meninas do ensino fundamental, alegando violações da Lei de Privacidade de Informações Biométricas de Illinois ou BIPA, processou o Google
por supostas violações de privacidade.228
Os formuladores de políticas devem apoiar professores, administradores e conselhos escolares para insistir que as empresas de tecnologia educacional sejam inadimplentes
em favor de práticas de respeito à privacidade. Os formuladores de políticas educacionais devem fornecer orientação e novas instruções
sobre o uso de EdTech para proteger melhor os dados das crianças. Em 2001, o Comitê das Nações Unidas sobre os Direitos da Criança
anunciou que “as crianças não perdem seus direitos humanos em virtude de passar pelos portões da escola”. 229O
a maioria da EdTech é desenvolvida e criada por atores comerciais, com pouca consideração pela vulnerabilidade das crianças
e incapacidade de policiar e proteger sua própria pegada digital. À medida que as tecnologias evoluem para analisar mais comportamentos
das crianças e personalizar ainda mais as experiências de aprendizagem, há uma necessidade desesperada de regulamentação para garantir
A EdTech é inclusiva, atenta e complementar ao desenvolvimento infantil.
O Comentário Geral das Nações Unidas nº 16 de 2013 exorta os países a garantir que as empresas privadas não sejam
adjudicaram contratos públicos se não respeitarem os direitos da criança.230 No contexto europeu, o
O Conselho da Europa emitiu orientações apelando aos Estados para aderirem à Convenção para a Proteção da
Indivíduos no que diz respeito ao Tratamento Automático de Dados Pessoais,231 especificamente ao realizar esses direitos no
contexto das crianças.232
O Consenso de Pequim de 2019 sobre Inteligência Artificial e Educação "reafirma uma abordagem humanística para
implantação de tecnologias de inteligência artificial na educação para aumentar a inteligência humana, protegendo
direitos humanos e para promover o desenvolvimento sustentável por meio da colaboração efetiva homem-máquina na vida,
aprendizado e trabalho." Suas recomendações estão em cinco áreas: (i) IA para gestão e entrega de educação; (ii)
IA para capacitar o ensino e os professores; (iii) IA para aprendizagem e avaliação da aprendizagem; (iv) Desenvolvimento de valores
e habilidades para a vida e o trabalho na era da IA; e (v) AI para oferecer oportunidades de aprendizagem ao longo da vida para todos.233
223The Economist, Criando o Coronopticon, os países estão usando aplicativos e redes de dados para controlar
A pandemia e também, no processo, seus cidadãos (26 de março de 2020) https://
www.economist.com/briefing/2020/03/26/countries-are-using-apps-and-data-networks-to-keep-tabs on-the-pandemic
224 https://mediasmarts.ca/
225 https://www.commonsense.org/education/
226 https://www.cosn.org/
227 https://studentprivacypledge.org/
228Ver Nieva, R. (2020, 3 de abril). 'Duas crianças processam o Google por supostamente coletar dados biométricos dos
alunos', https://www.cnet.com/news/two-children-sue-google-for-allegedly-collecting-students-biometric-data/
Google G Suite for Education coleta ações coletivas BIPA de biometria infantil, https://
classactionsreporter.com/google-g-suite-for-education-collects-childrens-biometrics-bipa-class-action/
e Farwell v. Google, LLC - Junte-se a ações judiciais coletivas https://www.classaction.org/media/farwell-v google-llc.pdf
229Comitê dos Direitos da Criança das Nações Unidas. (2001, 17 de abril). 'Comentário Geral No. 1 Artigo 29(1): Os objetivos
da educação'. CRC/GC/2001/1.
230Comitê dos Direitos da Criança das Nações Unidas. (2013, 17 de abril). 'Comentário Geral No. 16 sobre as obrigações do
Estado em relação ao impacto do setor empresarial nos direitos da criança.' CRC/C/GC/16. 231 https://
rm.coe.int/1680078b37
estabelecimento de educação.' https://rm.coe.int/t-pd-2019-6bisrev5-eng-guidelines-education-setting-plenary-clean
2790/1680a07f2b
233UNESCO, Consenso de Pequim sobre Inteligência Artificial e Educação, (25 de junho de 2019) Disponível em:
https://unesdoc.unesco.org/ark:/48223/pf0000368303 (A UNESCO publicou o Consenso de Pequim sobre Inteligência
Artificial (IA) e Educação, o primeiro documento a oferecer orientação e recomendações sobre
a melhor forma de aproveitar as tecnologias de IA para alcançar a Agenda Educação 2030. Foi adotado durante o
36
Porque a AIEd ética é um desafio global, espalhado além-fronteiras, precisa ser abordado também com orientação global
por considerações éticas e de direitos humanos, cientes das complexidades da infância.
Quatro forças atuando juntas e separadamente impactarão a regulamentação da IA: a Lei; o design de sistemas de IA;
regulação do mercado; e ética e princípios. A base da regulamentação provavelmente considerará os valores éticos de:
explicabilidade; prestação de contas e transparência. 234
AIEd Ética por Design
A ética desde o design235 continuará a ganhar força como uma consideração ao longo do desenvolvimento e uso da IA
sistemas, incluindo sistemas projetados para uso infantil e juvenil. Com relação às crianças, o Conselho Infantil
O padrão Rights by Design of AI systems (“CRbD”)236 é útil para empregar em modelos de negócios orientados por dados
de AIEd que poderia explorar ou prejudicar as crianças.
Uma aplicação de AIEd projetada de forma antiética que gerou protesto público durante o COVID-19 foi o uso de um
algoritmo para avaliar os alunos. Devido à pandemia de COVID-19 no Reino Unido, todas as escolas secundárias
Os exames previstos para 2020 foram cancelados. Como resultado, um método alternativo teve que ser projetado e
implementadas em curto prazo para determinar as notas de qualificação a serem dadas aos alunos para aquele ano. notas A
Conferência Internacional sobre Inteligência Artificial e Educação, realizada em Pequim de 16 a 18 de maio de 2019, por
mais de 50 ministros de governo, representantes internacionais de mais de 105 Estados Membros e quase 100
representantes de agências da ONU, instituições acadêmicas, sociedade civil e setor privado. O Consenso de
Pequim vem após a Declaração de Qingdao de 2015, na qual os Estados Membros da UNESCO se comprometeram a
aproveitar de forma eficiente as tecnologias emergentes para a realização do ODS 4.)
234Fjeld, Jessica e Achten, Nele e Hilligoss, Hannah e Nagy, Adam e Srikumar, Madhulika, Principled Artificial Intelligence:
Mapping Consensus in Ethical and Rights-Based Approaches to Principles for AI (15 de janeiro de 2020).
Publicação de pesquisa do Berkman Klein Center nº 2020-1, disponível em SSRN: https://ssrn.com/
abstract=3518482 ou http://dx.doi.org/10.2139/ssrn.3518482
235Floridi, Luciano; Cowls, Josh; Beltrametti, Mônica; Chatila, Raja; Chazerand, Patrice; Dignum, Virgínia; Luetge,
Christoph; Madelin, Robert; Pagallo, Ugo; Rossi, Francesca; Shafer, Burkhard; Valcke, Peggy; Vayena, Vayena.
AI4People-An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations.
Minds and Machines, 2018. Disponível em https://doi.org/10.1007/s11023-018-9482-5
e https://standards.ieee.org/content/dam/ieee-standards/standards/web/documents/other/ead1e.pdf?
utm_medium=PR&utm_source=Web&utm_campaign=EAD1e&utm_content=geias&utm_term=indefinido (verificado
em 14.10.2020).
236O padrão CRdD para IA pode ser traduzido nas seguintes recomendações específicas para atores que governam,
desenvolvem e fornecem produtos e serviços com IA que impactam direta ou indiretamente as crianças: 1)
Integrar as disposições da Convenção sobre os Direitos da Criança em todas as políticas corporativas e processos
de gestão apropriados; 2) Usar uma perspectiva interdisciplinar para alcançar o melhor interesse da criança; 3)
Adoção universal da melhor tecnologia e política disponível; 4) Due diligence de políticas e padrões comunitários; 5)
Minimização de dados; 6) Propriedade total dos filhos sobre seus dados; 7) Espaços digitais sem comerciais; 8)
Promoção de experiências significativas e não monetizáveis; 9) Técnicas de nudge no melhor interesse da criança;
10) Normas de segurança; 11) Configurações padrão de alta privacidade; 12) Controles e mediação dos pais (as
crianças devem ter informações adequadas à idade e transparentes sobre como isso funciona e como isso afeta sua
privacidade); 13) Uso correto, brincar e participar sem coleta de dados (opções gratuitas de crianças
processamento de dados); 14) Promoção do direito das crianças à desconexão; 15) Adoção de Avaliações de Impacto
de Proteção de Dados de Crianças; 16) Utilização não prejudicial dos dados (o tratamento dos dados das crianças deve
ser sempre feito no seu melhor interesse); 17) Transparência, acessibilidade e legibilidade dos termos de uso e políticas de privacidade;
compartilhamento de dados. Hartung, Pedro. O padrão Children's rights-by-design (CRbD) para uso de dados
por empresas de tecnologia. Unicef Data Governance Working
Group, 2020. https://www.unicef.org/globalinsight/media/1286/file/%20UNICEF-Global-Insight-DataGov-data-use-brief
2020.pdf Além disso, para todas as decisões automatizadas com IA, é importante garantir a explicabilidade e
responsabilidade do sistema de IA, explicando como eles protegem e promovem os direitos das crianças.
37
algoritmo de padronização foi produzido em junho de 2020 pelo regulador Ofqual na Inglaterra, as notas A Level
foram anunciados na Inglaterra, País de Gales e Irlanda do Norte em 13 de agosto de 2020. A divulgação dos resultados resultou em
um clamor público. Críticas particulares foram feitas ao efeito díspar que o algoritmo de classificação teve no rebaixamento
os resultados daqueles que frequentaram escolas públicas e melhorar os resultados dos alunos em escolas privadas
escolas independentes e, portanto, prejudicando os alunos de nível socioeconômico mais baixo, em parte devido ao
comportamento do algoritmo em torno de pequenos tamanhos de coorte.
Alunos e professores se sentiram privados e chateados após o controverso cálculo do algoritmo e protestaram
contra ele, com muitos exigindo que o primeiro-ministro Boris Johnson e seu governo tomem medidas imediatas. Em um
resposta surda ao clamor público, o secretário de Estado da Educação, Gavin Williamson, disse que a classificação
sistema veio para ficar, e Boris Johnson afirmou que os resultados são "robustos e confiáveis".
Ação legal, na forma de revisão judicial, foi iniciada por vários estudantes e organizações de defesa legal,
como o Projeto de Lei do Bem.237 Finalmente, em 17 de agosto de 2020, Ofqual e o Secretário de Estado da Educação Gavin
238
Williamson concordou que as notas seriam reemitidas usando previsões não moderadas de professores.
AIEd Applications-Connecting AI com EdTech
Hoje, tanto as startups quanto as empresas EdTech estabelecidas buscam integrar a IA em produtos comercializáveis. Em alguns
casos, a IA desempenha funções independentemente dos professores, enquanto em outros aumenta as capacidades de ensino.239
As aplicações da tecnologia educacional baseada em IA incluem o seguinte:
Tutoria. Programas de IA comumente chamados de Sistemas Tutoriais Inteligentes (ITS) ou tutores adaptativos
envolver os alunos no diálogo, responder a perguntas e fornecer feedback.
Personalizando a Aprendizagem. ITS e tutores adaptativos adaptam o material de aprendizagem, ritmo, sequência e dificuldade para
necessidades de cada aluno. A IA também pode fornecer suporte para alunos com necessidades especiais, por exemplo, ensinando autistas
crianças para identificar expressões faciais.
Testando. As avaliações adaptativas por computador ajustam a dificuldade de perguntas sucessivas com base na precisão de
as respostas do aluno, permitindo uma identificação mais precisa do nível de domínio do aluno.
Automatizando Tarefas. A IA pode executar tarefas de rotina, como marcar presença, atribuir notas e
geração de perguntas de teste.
Assim, as ferramentas baseadas em IA têm três orientações gerais em termos de uso nas escolas: voltadas para o aluno, voltadas
para o professor e voltadas para o sistema.240
237 Good Law Project, ação legal sobre o fiasco dos resultados do nível A, https://goodlawproject.org/news/a-level-results
fiasco/
238Adam Satariano 'British Grading Debacle Shows Pitfalls of Automating Government', New York Times, ago.
2020. Disponível em https://www.nytimes.com/2020/08/20/world/europe/uk-england-grading-algorithm.html; WILL BEDINGFIELD,
Tudo o que deu errado com o algoritmo A-Levels malfeito: suposições falhas sobre os dados levaram aos problemas que
afetam centenas de milhares de estudantes, WIRED, (18 de agosto de 2020) https://www.wired.co.uk/article/alevel-exam-
algorithm (Em 18 de março, o governo anunciou que, como tantas instituições anuais que foram vítimas do Covid-19, os exames
deste verão seriam cancelados. No local dos exames, o Gabinete de Regulação de Qualificações e Exames (Ofqual) pediu aos
professores que previssem
as notas que cada um de seus alunos teria alcançado.) Veja também, Jon Porter, Reino Unido descarta resultados de
exames gerados por algoritmo tendencioso após protestos estudantis, The Verge, (17 de agosto de
2020) https://www.theverge.com/2020/8/17/21372045/uk-a-level-results-algorithm-biased-coronavirus-covid-19-
pandemia-university-applications WIKIPEDIA, 2020 UK GCSE and A-Level Grading Controversy, https://
en.wikipedia.org/wiki/2020_UK_GCSE_and_A-Level_grading_controversy#cite_note-24
239Relatório do Serviço de Pesquisa do Congresso, Inteligência Artificial (IA) e Educação (1º de agosto de 2018)
https://crsreports.congress.gov/product/pdf/IF/IF10937
240Anissa Baker Smith, “Educ-AI-tion Rebooted?”, Nesta, https://www.nesta.org.uk/report/education-rebooted/
38
Os sistemas de aprendizagem adaptáveis voltados para o aluno empregam algoritmos, avaliações, feedback do aluno e
várias mídias para fornecer material adaptado às necessidades e progresso de cada aluno.241
Por exemplo, a IA pode ser usada para aprimorar habilidades sociais, especialmente para crianças com necessidades especiais. uma empresa
que emprega IA para esse fim é o Brain Power, que aborda a questão do autismo por meio de um wearable
computer.242AI é implantado para ajudar alunos do ensino médio a desenvolver habilidades profissionais, incluindo o aprendizado de idiomas
formulários. O Duolingo243 é um desses aplicativos de aprendizado de idiomas que oferece aos alunos feedback personalizado em
mais de 300.000 salas de aula em todo o mundo.244
Na categoria voltada para o professor, a IA ajuda os professores em tarefas administrativas, como corrigir trabalhos e
detecção de trapaça. Por exemplo, o Instituto de Interação Humano-Computador da Carnegie Mellon University é
em parceria com a startup Lumilo245, construindo um assistente de realidade aumentada de IA que manterá os professores informados
enquanto os alunos trabalham em suas tarefas.246
Quando usado em sala de aula, o software de aprendizado personalizado permite que os alunos trabalhem em seu próprio ritmo, enquanto
liberando o professor para passar mais tempo trabalhando individualmente com os alunos. No entanto, essas salas de aula personalizadas
também representam desafios únicos para os professores, que têm a tarefa de monitorar aulas trabalhando em diferentes
atividades e priorizar a ajuda em face do tempo limitado.247
Os sistemas tutores inteligentes são uma classe de tecnologias avançadas de aprendizagem que fornecem aos alunos orientação
passo a passo durante a prática de resolução de problemas complexos e outras atividades de aprendizagem.
As empresas de IA conectam seus produtos EdTech usando kits de desenvolvimento de software (SDKS) do lado do cliente ou do servidor,
que então analisam os dados de seus usuários em tempo real. Fluxos de dados de uma variedade de contextos de aprendizagem podem ser
agregados para criar perfis psicométricos aprofundados (modelos de aprendizagem) das interações, preferências e
conquistas de cada aluno individualmente. Em seguida, usa uma teoria de resposta ao item, uma estrutura psicométrica para
determinar o próximo desafio do aluno, material instrucional ou atividade ideal, que é então entregue ao
aluno por meio do produto EdTech do parceiro. O sistema AI também fornece informações personalizadas e
recomendações para professores e pais sobre as melhores maneiras de ajudar os alunos individualmente.248
241Id.
242Brain Power, “About Us,” http://www.brain-power.com/
243https://www.duolingo.com/
244Jackie Snow, “A tecnologia AI está destruindo a sala de aula tradicional,” https://
www.pbs.org/wgbh/nova/article/ai-technology-is-disrupting-the-traditional-classroom/
245Julia Mericle, Com Lumilo, os professores podem ver a análise da sala de aula flutuando acima das cabeças dos alunos,
Pittsburgh Business Times, (3 de outubro de 2018) https://www.bizjournals.com/pittsburgh/news/2018/10/03/with-lumilo
teacher-can-see-classroom-analytics.html
246Center for Curriculum Redesign, Artificial Intelligence in Education: Promises and Implications for Teaching and Learning,
(março de 2019) https://curriculumredesign.org/wp-content/uploads/AI-in-Education-CCR-Copy Protected.pdf
247Holstein, K., Hong, G., Tegene, M., McLaren, BM, & Aleven, V. (2018). A sala de aula como painel:
Co-projeto de aumento cognitivo vestível para professores K-12. Em Proceedings of the Eighth International Learning Analytics
& Knowledge Conference (pp. 79-88). ACM. Este artigo relata o co-design, implementação e avaliação de uma
ferramenta vestível de orquestração de sala de aula para professores K-12: óculos inteligentes de realidade mista que
aumentam as percepções em tempo real dos professores sobre o aprendizado, metacognição e comportamento de seus
alunos, enquanto os alunos trabalham com software de aprendizado personalizado. As principais contribuições são: (1) a
primeira exploração do uso de óculos inteligentes para apoiar a orquestração de salas de aula personalizadas, gerando
resultados de design que podem informar trabalhos futuros sobre ferramentas de orquestração em tempo real; (2)
Replay Enactments: um novo método de prototipagem para ferramentas de orquestração em tempo real; e (3) uma avaliação
em laboratório e um piloto de sala de aula usando um protótipo de óculos inteligentes para professores (Lumilo), com descobertas iniciais suge
tempo aos alunos que mais precisam.
248Veja, por exemplo, https://www.kidaptive.com/
39
Além do software e das ferramentas descritas acima, os robôs de IA estão transformando cada vez mais a educação
métodos.249 Embora os robôs educacionais prometam benefícios para as crianças, por exemplo, aprendizagem personalizada, desenvolvimento
habilidades sociais, permitindo educação a distância para crianças em regiões remotas, eles também representam riscos.250 Direitos humanos
que podem ser afetados positiva ou negativamente por seu uso incluem o direito à educação, bem como o direito à
proteção contra exploração e abuso, e a proteção de crianças com deficiência, na medida em que possam
ser desenvolvido com o lucro comercial em mente, em detrimento do padrão CRbD.
As tecnologias de IA podem ajudar a facilitar o “aprendizado personalizado” (adaptando o ensino às necessidades de cada aluno)
e “aprendizagem mista” (combinando tecnologia com interação face a face). Muitos funcionários da escola esperam que
tais abordagens irão melhorar o desempenho acadêmico e reduzir as lacunas de desempenho entre grupos de alunos.
Alguns professores também sugerem que a aprendizagem personalizada aumenta o envolvimento, a motivação e a motivação dos alunos.
independência.251
A aprendizagem baseada em IA enfrenta desafios de implementação significativos. Uma maior independência do aluno poderia
crianças desfavorecidas que são menos autodisciplinadas ou que recebem pouco apoio educacional em casa, potencialmente
exacerbando a lacuna de desempenho. Além disso, as pesquisas indicam que alguns professores lutam para traduzir os dados
eles recebem de ferramentas de aprendizagem personalizadas em instrução acionável e
gastam quantidades excessivas de tempo criando atribuições individualizadas. Há também um debate sobre quão bem
os alunos retêm o conhecimento aprendido com um sistema baseado em IA e se gastam um tempo substancial de aula em
computadores diminuem o aprendizado social na escola.252
As implicações orçamentárias do uso da IA na educação são problemáticas, dadas as incertezas sobre a relação custo-benefício da
tecnologia. Por exemplo, a versatilidade e escalabilidade da IA podem resultar em algumas instituições
reduzir o corpo docente em favor de alternativas de IA. No entanto, a IA pode criar demanda por profissionais da educação
que podem projetar e implementar programas de aprendizagem personalizados.253
AIEd nos EUA
As ações do governo dos EUA abordaram questões relacionadas à IA nas escolas, como acesso à internet e dados dos alunos
privacidade. A implementação bem-sucedida da IA pelas escolas requer um investimento significativo em tecnologia da informação, bem como
bem como acesso confiável à Internet de banda larga. Esses recursos não são distribuídos uniformemente pelos distritos escolares;
por exemplo, cerca de 80% das escolas sem conexões de fibra estavam localizadas em áreas rurais em 2017. Federal
os esforços para lidar com essa disparidade incluem programas como o Programa de Serviço Universal para Escolas e
Bibliotecas. Comumente conhecido como E-rate, o programa fornece subsídios de até 90% para ajudar a garantir que
escolas e bibliotecas qualificadas podem obter acesso à internet de alta velocidade e telecomunicações a preços acessíveis
cotações. A National Science Foundation254 e o Instituto de Educação do Departamento de Educação255 (ED's)
A Sciences256 concedeu subsídios a projetos que pesquisam tecnologias de sala de aula habilitadas para IA. Além disso, os EDs
249 Timms, MJ (2016). Deixando a Inteligência Artificial na Educação Fora da Caixa: Cobots Educacionais e Inteligentes
Salas de aula. Jornal Internacional de Inteligência Artificial na Educação, 26(2), 701-712.
250Jon-Chao Hong, Kuang-Chao Yu e Mei-Yung Chen, “Aprendizado Colaborativo em Design de Projetos Tecnológicos”,
International Journal of Technology and Design Education 21, no. 3 (agosto de 2011): 335–47.; Mazzoni, Elvis e Martina
Benvenuti, “A Robot-Partner for Preschool Children Learning English Using Socio Cognitive Conflict,” Journal of Educational
Technology & Society 18, no. 4 (2015): 474–85.; Barak, Moshe e Yair Zadok, “Projetos de Robótica e Conceitos de Aprendizagem
em Ciência, Tecnologia e Resolução de Problemas,”
Revista Internacional de Tecnologia e Educação em Design 19, no. 3 (agosto de 2009): 289–307.
254 https://www.nsf.gov/
255 https://www.ed.gov/
256 https://ies.ed.gov/
40
O Office of Educational Technology257 lançou várias publicações sobre tópicos relevantes para a IA nas escolas, como
análise de aprendizado e mineração de dados educacionais, preparação de professores, aprendizado personalizado e privacidade do aluno.
Considerações selecionadas sobre políticas de educação em IA nos EUA
Embora a maioria das políticas educacionais seja definida em nível estadual e local, o Congresso está envolvido na supervisão e
ações legislativas sobre questões como privacidade do aluno, preparação do professor, seleção de produtos e algoritmos
prestação de contas.258
Privacidade do aluno. Como muitos serviços digitais, as ferramentas educacionais habilitadas para IA coletam e armazenam PII. Em resposta a
preocupações públicas sobre segurança e privacidade de dados, os ativistas criaram um Student Privacy Pledge voluntário em 2014.
Os signatários prometem colocar limites na vida útil dos dados armazenados, manter medidas de segurança razoáveis e
abster-se de vender dados. Embora o presidente Obama e vários
Os membros do Congresso endossaram a promessa, os críticos afirmaram que a linguagem é vaga e a promessa é
pouco mais do que um movimento publicitário. Enquanto isso, 41 estados promulgaram leis que regem a coleta de dados dos alunos,
uso, relatórios e proteção desde 2013. Várias dessas leis foram modeladas após o Student's Student
Lei de Proteção de Informações Pessoais Online (SOPIPA). O Congresso pode considerar se tais esforços estatais são
suficiente ou se for necessária uma lei federal.
Preparação Docente. Se as tecnologias de IA forem adotadas em uma escala mais ampla, os professores enfrentarão a tarefa não apenas de
aprendendo a usar produtos específicos, mas também integrando uma variedade de tecnologias de IA em suas aulas.
Programas de preparação oferecidos por universidades e institutos de certificação de professores podem fornecer esse treinamento. Em
FY2018, a competição Teacher Quality Partnership (TQP) da ED planeja conceder aproximadamente US$ 14 milhões em doações
a esses programas. Se o Congresso decidir apoiar o financiamento da preparação de professores para IA, as opções podem incluir
redirecionando fundos para treinamento em tecnologia de professores e direcionando ED para desenvolver melhores práticas para professores
competência tecnológica. 259
Aquisição de produtos e suporte. Escolher produtos pode ser um esforço intensivo de tempo e energia envolvendo
professores, administradores, equipe de TI e outros funcionários da escola. Enquanto algumas escolas permitem que os professores experimentem
livremente, outros exigem que a equipe de TI examine centenas de políticas de privacidade e medidas de segurança. Alguns distritos escolares
recorreram a consultores de conteúdo digital para orientação na seleção
257 Conheça a Equipe OET - Escritório de Tecnologia Educacional

258 As ações tomadas pelo Congresso incluem a Lei do Sucesso de Todos os Estudantes (PL 114-95), que
reautorizou a Lei de Educação Elementar e Secundária de 1965, autorizou o uso de computador adaptativo
testes em avaliações acadêmicas de estudantes estaduais exigidas pela lei. Isso marcou a primeira vez que o Congresso aprovou
explicitamente uma técnica de teste de IA para uso generalizado nas escolas. O Congresso tomou medidas para abordar as
preocupações do público em relação à privacidade das informações pessoais dos alunos, incluindo preocupações sobre
empresas de tecnologia educacional coletando informações de identificação pessoal (PII) de alunos para manter contas
de usuário; A Lei dos Direitos Educacionais e Privacidade da Família de 1974 (FERPA), conforme alterada em 2013, limita
o poder das escolas de divulgar os registros educacionais dos alunos, mas foi criticada por mecanismos fracos de aplicação
contra terceiros que usam indevidamente os dados dos alunos; A Emenda de Proteção dos Direitos dos Alunos de 1978 (PPRA),
conforme alterada em 2015, exige que as escolas notifiquem os pais e ofereçam
uma opção de exclusão se um terceiro fizer pesquisas com os alunos para fins de marketing; A privacidade on-line das crianças
A Lei de Proteção de 1998 (COPPA) exige o consentimento dos pais antes que os sites coletem informações sobre crianças
de 13 anos ou menos. Muitos especialistas temem que a lei atual, aprovada em grande parte antes de a IA se tornar uma
importante consideração política, seja insuficiente para lidar com as ameaças atuais à segurança cibernética. Projetos de lei
apresentados no 115º Congresso, como o Protecting Student Privacy Act (S. 877), SAFE KIDS Act (S. 2640) e Protecting
Education Privacy Act (HR 5224), abordaram como terceiros podem acessar e usar PII dos alunos. 7.
41
produtos. Para ajudar as escolas a reunir pesquisas sobre ferramentas e estratégias educacionais, organizações sem fins lucrativos e agências federais
desenvolveram recursos. Por exemplo, a State Educational Technology Directors Association oferece a melhor
guia de práticas para aquisição de produtos,260 e o What Works Clearinghouse da ED revisa rigorosamente
eficácia de produtos e práticas educacionais. Apesar desses recursos, as pesquisas indicam que
recomendação é uma base mais prevalente para a escolha de produtos do que evidências baseadas em pesquisa. Um centralizado
plataforma para trocar informações e solucionar problemas de forma colaborativa pode ajudar a formalizar
comunicação e permitir que as escolas façam compras mais sábias e menos dispendiosas. A tecnologia para a educação
Consórcio estima que os distritos economizariam coletivamente US$ 3 bilhões por ano em compras de tecnologia educacional
simplesmente compartilhando informações de preço.261
Responsabilidade Algorítmica. Pais e administradores escolares podem achar difícil confiar nas tecnologias de IA
usado para influenciar ou tomar decisões sobre a aprendizagem do aluno. A desconfiança pode surgir da recusa das empresas em
divulgam seus algoritmos, que eles argumentam serem segredos comerciais, ou do “problema da caixa preta”, que ocorre
quando a complexidade de um algoritmo torna seus processos inescrutáveis até mesmo para os desenvolvedores. As opções para o Congresso poderiam
incluem a realização de audiências, realização de supervisão e consideração de requisitos para aumentar a transparência e
responsabilidade pelo uso de dados de forma mais ampla, como a União Européia tem procurado fazer por meio do General Data
Regulamento de Proteção.262
AIEd e Vigilância
A vigilância de crianças é outro uso da IA que está crescendo devido ao avanço do aprendizado de máquina e do aprendizado profundo
técnicas.263 Embora algum grau de vigilância promova a segurança, a vigilância representa riscos para as crianças. A
uso da tecnologia de reconhecimento facial beneficiando crianças é o da polícia em Nova Delhi, que
tecnologia de reconhecimento e identificou quase 3.000 crianças desaparecidas em quatro dias.264 No entanto, a vigilância também
cria privacidade, segurança, preconceito e riscos de segurança e, especialmente em contextos educacionais, limita a capacidade e
vontade de assumir riscos e se expressar de outra forma.265
Principais questões legais relacionadas a tecnologias avançadas de segurança em escolas públicas K-12 nos Estados Unidos,
incluindo o impacto sobre os direitos de privacidade dos alunos. Ao usar a tecnologia de vigilância AI nas escolas, 266privacidade deve ser
equilibrado com preocupações de segurança267; quaisquer problemas aparentes com eficácia e precisão da tecnologia devem
ser abordada antes da implementação; e a jurisprudência da Quarta Emenda, legislação federal de privacidade estudantil e
as leis estaduais precisam ser mais desenvolvidas, com a IA em mente.268
260 https://www.setda.org/master/wp-content/uploads/2017/10/Case_studies_full_10.15.17.pdf
263 Emmeline Taylor, “Surveillance Schools: A New Era in Education”, em Surveillance Schools: Security, Discipline and
Control in Contemporary Education (Londres: Palgrave Macmillan UK, 2013), 15–39, https://doi.org/
10.1057/9781137308863_2.
264Anthony Cuthbertson, “Police Trace 3,000 Missing Children in Just Four Days Using Facial Recognition Technology”,
The Independent, https://www.independent.co.uk/life-style/gadgets-and-tech/news/india police-missingchildren-facial-
recognition-tech-trace-find-reunite-a8320406.html, (24 de abril de 2018).
265 Artigo 19, “Os Princípios Globais sobre Proteção da Liberdade de Expressão e Privacidade,”
https://www.article19.org/resources/the-global-principles-on-protection-of-freedom-of-expression-and privacy/ A ARTIGO
19 trabalha para um mundo onde todas as pessoas em todos os lugares possam se expressar livremente e se envolver
ativamente na vida pública sem medo de discriminação. Eu ia.
266Barbara Fedders, The Constant and Expanding Classroom: Surveillance in K-12 Public Schools, 97 NCL
REV. 1673 (2019).
267Veja Sara Collins, Tyler Park & Amelia Vance, Garantindo a segurança escolar enquanto também protege a privacidade, FUTURE
PRIVACY F. (6 de junho de 2018), https://fpf.org/2018/06/06/ensururing-school-safety-while#also-protecting privacy-fpf-
testim
42
Em resposta aos temores de violência escolar adicional e aos apelos por maior segurança escolar, as escolas começaram a
reforçando a segurança por meio do uso dessas tecnologias emergentes de IA.269 Reconhecendo a oportunidade de mercado,
empresas de tecnologia estão desenvolvendo novos dispositivos que afirmam impedir ou reduzir a probabilidade de
tiroteios.270 Esses novos dispositivos, que incluem câmeras avançadas e scanners corporais, usam biometria e
inteligência artificial para reconhecer rostos; detectar armas, tiros e outras ameaças; e rastrear indivíduos
locais em escolas.271
Nas escolas, as tecnologias biométricas e de IA cobrem um amplo espectro de programas. A indústria de IA viu um boom
dentro do mercado educacional, e o valor do mercado mundial de educação em IA está previsto para ultrapassar seis bilhões
dólares até 2024.272 com aplicações em sala de aula respondendo por vinte por cento desse crescimento.273
Grande parte da razão para o crescimento do AIEd é a integração de sistemas de IA para aprendizado personalizado, que permite
os alunos recebam “feedback e instruções imediatas e personalizadas . . sem a intervenção. de um
268Maya Weinstein, School Surveillance: The Students' Rights Implications of Artificial Intelligence as K-12
Segurança escolar, 98 NCL Rev. 438 (2020). Disponível em: https://scholarship.law.unc.edu/nclr/vol98/iss2/12
269Veja, por exemplo, Kaitlyn DeHaven, Texas ISD faz grandes atualizações de segurança durante o verão, CAMPUS
SEGURANÇA E SEGURANÇA DE VIDA (9 de agosto de 2019), https://campuslifesecurity.com/articles/2019/08/09/texas-
isd makes-major-security-upgrades-over-the-summer.aspx [https://perma.cc/3YFR#TZ47] (“Dois aplicativos agora serão
usados como parte das medidas de segurança - o aplicativo Anonymous Alerts e o Smart Button. . . . Em termos
de segurança física, o distrito instalou videoporteiros em cada entrada da escola.”); Mark Keierleber, Inside the $ 3
Billion School Security Industry: Companies Marketed Sophisticated Technology To 'Harden' Campuses, but Will
It Make Us Safe?, 74 (9 de agosto de 2018), https://www.the74million.org/article/inside-the-3-
bilhões de empresas-da-indústria de segurança escolar#tecnologia-sofisticada-do-mercado-para-fortalecer-os-campi-mas-
isso nos tornará seguros/ (“As escolas têm cada vez mais bloqueado e monitorado as entradas do campus nos últimos
anos, embora o aumento na segurança escolar seja mais evidente no crescimento da vigilância por vídeo.”)
270A empresa de streaming de mídia RealNetworks está oferecendo seu software de reconhecimento facial para mais de 100.000
distritos escolares gratuitamente, com o objetivo de tornar as escolas mais seguras. Eli Zimmerman, empresa oferece
software de reconhecimento facial gratuito para aumentar a segurança escolar,
EDTECH (3 de agosto de 2018), https://edtechmagazine.com/k12/article/2018/08/company-offers-free-facial-recognition-
software#boost school-security [https://perma.cc/4V9N-TMSD]; consulte também Comunicado à imprensa, SAFR,
RealNetworks fornece solução de reconhecimento facial SAFR gratuitamente para todas as escolas K-12 nos
EUA e Canadá (17 de julho de 2018), https://safr.com/press-release/realnetworks-provides-safr-facial-recognition-solution#for-free-to-every-k
escola-nos-nos-e-canadá/ 271Maya
Weinstein, Vigilância Escolar: As Implicações dos Direitos dos Alunos da Inteligência Artificial como K-12
272Ankita Bhutani & Preeti Wadhwani, Inteligência Artificial (IA) na Educação Tamanho do mercado vale US$ 6 bilhões até 2024,
GLOBAL MKT. INSIGHTS (12 de agosto de 2019), https://www.gminsights.com/pressrelease/artificial-intelligence-ai in-
education-market [https://perma.cc/W3RP-SNDQ].
273Michele Molnar, mercado de inteligência artificial K-12 definido para explodir nos EUA e no mundo até 2024, EDWEEK MKT.
BRIEF (10 de julho de 2018), https://marketbrief.edweek.org/marketplace-k-12/k-12artificial-intelligence market-set-
explode-us-worldwide-2024/ [https://perma.cc/6HBQ-JCEF]; ver também Hao, Karen. “A China iniciou um grande
experimento na educação em IA. Poderia remodelar a forma como o mundo aprende.” Revisão de tecnologia do
MIT. .technologyreview.com/s/614057/china-squirrel-has-started-a-grand-experiment-in-ai-education-it could-reshape-how-
the/.
43
tutor humano.”274 A biometria também foi incorporada à sala de aula,275 e algumas escolas até usam
biometria para permitir que os alunos paguem pelo almoço com apenas uma impressão digital.276
Uma nova área popular da tecnologia de vigilância escolar é o rastreamento de localização. Por exemplo, o
programa “e hallpass”277 é um passe eletrônico moderno que “registra e monitora continuamente o tempo do aluno nos corre
afirma “melhorar a segurança escolar e o gerenciamento de emergências, ao mesmo tempo em que reduz as interrupções na sala de aula o máximo possível”.
até 50% ” .
recurso de geolocalização.280Usando geolocalização,281 esses sistemas de localização têm a capacidade de identificar quando um aluno está
na aula, registrar a presença do professor e rastrear onde os alunos estão na escola.282
Embora a tecnologia tenha alguns benefícios do ponto de vista de segurança, essas tecnologias são intrusivas e
criar um ambiente onde os alunos são rastreados, monitorados e observados. Muitos desses programas envolvem
monitoramento constante de crianças, e alguns coletam dados de identificação pessoal, incluindo impressões digitais e rosto
imagens. Há uma série de potenciais consequências adversas dessas tecnologias: os alunos são inibidos para
participar da aula, os riscos de correspondências de dados falsos podem levar a ações disciplinares prejudiciais e injustas e
283
de outra forma invadindo os direitos de privacidade do aluno.
Outro tipo de programa de reconhecimento facial, “reconhecimento de afeto”, usa análise biométrica para escanear
rostos e supostamente identificam emoções.284 Uma universidade australiana está atualmente testando um produto chamado
274Inteligência artificial no mercado educacional atingirá US$ 6 bilhões até 2024, GLOBAL MKT. INSIGHTS (6
de junho de 2018), https://www.globenewswire.com/news-release/2018/06/06/1517441/0/en/
Artificial#Intelligence-in Education-Market-to-hit-6bn-by-2024-Global-
Market-Insights-Inc.html 275Jen A. Miller, Biometrics in Schools To Yield Security Benefícios e questões de
privacidade, EDTECH MAG. (7 de maio de 2019), https://edtechmagazine.com/k12/article/2019/05/
biometrics-schools-yield-security-benefits and#privacy-concerns (“A tecnologia biométrica já faz parte do
ecossistema K-12, onde os administradores estão usando varreduras de íris e 'impressões digitais faciais' para conceder aces
gerencie os pagamentos do almoço, empreste materiais da biblioteca e garanta que os alunos peguem os ônibus
certos.”); Mae Rice, 13 aplicativos EdTech que estão transformando o ensino e a aprendizagem, BUILT
IN (22 de junho de 2019), https://builtin.com/edtech/technology-in-classroom-applications (descrevendo um sistema de supervisão de
que confirma as identidades dos examinandos por meio de impressões digitais e biometria de voz).
276Biometrics permite que os alunos comprem com impressão digital, GOV'T TECH. (17 de
outubro de 2007), https://www.govtech.com/health/Biometrics-Allows-Students-to-Purchase-with.html
277E-Hallpass, EDUSPIRE SOLUTIONS, https://www.eduspiresolutions.org/what-is-e-hallpass/
278 https://community.macmillanlearning.com/t5/institutional-solutions-blog/new-name-who-s-this-iclicker-reef
a ser renomeado-iclicker/ba-p/15007
279 https://www.iclicker.com/students/apps-and-remotes/web
280David Rosen & Aaron Santesso, Como os alunos aprenderam a parar de se preocupar — e adoram ser espionados,
CHRON. ENSINO SUPERIOR. (23 de setembro de 2018), https://www.chronicle.com/article/How-
Students#Learned-to Stop/244596
281Daniel Ionescu, Geolocation 101: How It Works, the Apps, and Your Privacy, ITWORLD (mar. 31, 2010),
https://www.itworld.com/article/2756095/networking-hardware/geolocation-101--how-it#works--the-apps--
and-your-privacy.html [https://perma.cc/AMB3-8VLK] (“Normalmente, os aplicativos de geolocalização
fazem duas coisas: informam sua localização para outros usuários e associam locais do mundo real (como
restaurantes e eventos) à sua localização.”)
282David Rosen & Aaron Santesso, Como os alunos aprenderam a parar de se preocupar — e adoram ser espionados,
CHRON. ENSINO SUPERIOR. (23 de setembro de 2018), https://www.chronicle.com/article/How-
Students#Learned-to Stop/244596
283Maya Weinstein, School Surveillance: The Students' Rights Implications of Artificial Intelligence as K-12
284MEREDITH WHITTAKER ET AL., AI NOW REPORT 2018, em 4 (dezembro de
2018), https://ainowinstitute.org/AI_Now_2018_Report.pdf [https://perma.cc/2EAJ-AALT] (“O reconhecimento de
afeto é uma subclasse de reconhecimento facial que afirma detectar coisas como personalidade, sentimentos
internos, saúde mental e 'engajamento do trabalhador' com base em imagens ou vídeos de rostos.”). Veja também
Milly Chan, Esta IA lê as emoções das crianças conforme elas aprendem, CNN, (17 de fevereiro de 2021) https://www.cnn.com/2021/0
44
“Biometric Mirror285”, que lê rostos e os classifica de acordo com quatorze características, incluindo gênero,
idade, etnia, atratividade, “estranheza” e estabilidade emocional.286 As escolas na China implementaram um
tecnologia semelhante para analisar as expressões faciais dos alunos, incluindo expressões como “neutro, feliz, triste,
decepcionado, zangado, assustado e surpreso.”287 O principal objetivo desse chamado “olho inteligente” é alertar os professores
quando os alunos estão distraídos na aula.288
Alguns argumentam que a identificação de mudanças de humor pode ajudar os educadores a identificar os alunos
enfrentando crises de saúde mental, o que poderia ajudar a sinalizar ameaças potenciais.289 No entanto, muitos acreditam que afetam
reconhecimento, a ideia de que as emoções de alguém podem ser lidas por um programa é assustadoramente reminiscente do desmascarado
psuedociências da frenologia e da fisionomia.290 “Essas afirmações não são apoiadas por evidências científicas robustas
e estão sendo aplicadas de maneira antiética e irresponsável... Vinculando o reconhecimento de afeto à contratação, acesso a
291
seguro, educação e policiamento criam riscos profundamente preocupantes, tanto em nível individual quanto social”.
A ideia de banir totalmente o reconhecimento facial também se tornou mais popular nos últimos anos, principalmente
com estados e municípios. Por exemplo, Califórnia e cidades de Massachusetts de San Francisco, Somerville,
Boston, Oakland e Berkeley proibiram o uso de tecnologia de reconhecimento facial pelo governo da cidade,
incluindo, mas não se limitando à aplicação da lei. Uma moratória de dois anos sobre o uso da tecnologia de reconhecimento facial
em Nova York, as escolas foram aprovadas pelas duas casas do legislativo estadual e aguardam a assinatura do governador. Califórnia
recentemente aprovou uma proibição de
três anos do uso de reconhecimento facial em câmeras corporais pela aplicação da lei e uma portaria proposta em Portland, Oregon
proibiria o uso de reconhecimento facial tanto pela aplicação da lei quanto por empresas privadas. Um legislador da Califórnia
anunciou planos para apresentar um projeto de lei que proibiria o uso de máscaras faciais pelo governo
ai-education-spc-intl-hnk/index.html (Ka Tim Chu, professor e vice-diretor do True Light College de Hong Kong usa uma
plataforma de aprendizado com IA monitora as emoções de seus alunos enquanto eles estudam em casa.1 Os alunos fazem
testes e trabalhos de casa na plataforma como parte do currículo escolar. Enquanto estudam, a IA mede os pontos musculares em
seus rostos por meio da câmera em seu computador ou tablet e identifica emoções, incluindo felicidade, tristeza, raiva, surpresa
e medo. O sistema também monitora quanto tempo os alunos levam para responder a perguntas; registros suas notas e
histórico de desempenho; gera relatórios sobre seus pontos fortes, fracos e níveis de motivação; e prevê suas notas. O programa pode
se adaptar a cada aluno, abordando as lacunas de conhecimento e oferecendo testes de estilo de jogo projetados para tornar o
aprendizado divertido. Lam diz que a tecnologia tem sido especialmente útil para os professores durante a pandemia porque permite
que eles monitorem remotamente as emoções de seus alunos enquanto aprendem. O viés racial também é um problema sério
para a IA. A pesquisa mostra que algumas tecnologias de análise emocional têm problemas para identificar as emoções de rostos de
pele mais escura,
em parte porque o algoritmo é moldado pelo viés humano e aprende como identificar emoções de rostos predominantemente
brancos.)
285 https://biometricmirror.com/ (“Biometric Mirror é um sistema interativo eticamente provocativo que permite a participação do público
no debate sobre a ética da inteligência artificial. O sistema permite que as pessoas tenham seu rosto fotografado e presenciem a
revelação de sua análise psicométrica, incluindo atributos como
agressividade, estranheza e instabilidade emocional. Por fim, um cenário personalizado de tomada de decisão algorítmica é
mostrado para estimular a reflexão individual sobre a aplicação ética da inteligência artificial.”)
286Jo Lauder, Mirror, Mirror: How AI Is Using Facial Recognition To Decipher Your Personality, ABC AUSTL.
(23 de julho de 2018), https://www.abc.net.au/triplej/programs/hack/how-ai-is-using-facial#recognition-to decipher-your-
personality/10025634
287Neil Connor, escola chinesa usa reconhecimento facial para monitorar a atenção dos alunos em sala de aula, TELEGRAPH (17 de
maio de 2018), https://www.telegraph.co.uk/news/2018/05/17/chinese-school-uses#facial-recognition monitor-student-attention
288Id.
289 Veja, por exemplo, Randy Rieland, Can Artificial Intelligence Help Stop School Shootings?, SMITHSONIAN (22 de junho de 2018),
https://www.smithsonianmag.com/innovation/can-artificial-intelligence-help-stop#school-shootings 180969288/ (descrevendo o uso
do aprendizado de máquina para analisar a linguagem e o comportamento dos alunos e ajudar os conselheiros na avaliação de
risco).
290AI NOW 2018 REPORT at 8. https://ainowinstitute.org/AI_Now_2018_Report.pdf
291Id. às 4.
45
reconhecimento pelos próximos cinco anos, enquanto os senadores Booker e Merkley apresentaram um projeto de lei que proibiria a
usos da tecnologia e proibir estados e entidades locais de usar financiamento federal para isso até que o Congresso
aprova legislação regulamentando-o. O objetivo de uma proibição abrangente e federal do reconhecimento facial pode ser elevado,
mas não é impossível, dada a crescente conscientização e vontade política de regulamentar essas tecnologias de IA.292
Uma grande preocupação relacionada à implementação de tecnologias de IA em qualquer lugar, mas também nas escolas, é o risco de
viés de máquina, as disparidades sistemáticas na precisão dos resultados do algoritmo, geralmente com relação à raça, mas
também gênero ou idade. As habilidades de identificação da IA em biometria são tão boas quanto os humanos que desenvolvem
eles. Um proeminente especialista em IA e cofundador da AI4ALL293 descreveu o problema da seguinte forma: “bias in, bias out.”294
Práticas de vigilância que monitoram continuamente tudo, desde o envolvimento das crianças na sala de aula até a
estados emocionais ao longo do dia ameaçam a criatividade, a liberdade de escolha e a autodeterminação de
crianças, potencialmente promovendo uma superabundância de autocensura e controle social.295 Uma vez automatizado
tecnologias de vigilância são implantadas nas escolas e nas salas de aula, os direitos das crianças, como o direito de
privacidade, o direito de não ser submetido a discriminação, o direito de prosperar e a liberdade de expressão podem ser
comprometido devido ao ambiente de vigilância em que as crianças estão confinadas.296
Os riscos variam dependendo de quem faz a vigilância (governos, professores, pais etc.) e para quê
propósitos.297 No entanto, o efeito assustador de ter câmeras constantemente ligadas a crianças é inegável.298 É
importante considerar e avaliar os atores envolvidos, seus propósitos, as ferramentas e métodos que irão utilizar, e
as salvaguardas que eles colocarão em prática. A tendência emergente de vigilância em sala de aula deve ajudar as crianças, não prejudicar
eles.
Novas tecnologias estão expandindo a capacidade das escolas de manter os alunos sob vigilância - dentro da sala de aula e
fora, durante o ano letivo e após o seu término. As escolas mudaram rapidamente para adotar uma variedade estonteante de novas ferramentas.
Isso inclui produtos de aprendizagem digital que capturam e armazenam dados dos alunos; dicas anônimas encorajadoras
alunos a relatar uns aos outros; e software que monitora os e-mails e publicações nas redes sociais dos alunos, mesmo
quando são escritos em casa. Um número cada vez maior de policiais estacionados nas escolas pode acessar
essas informações, somando o poder das tecnologias.299
Os defensores dessas ferramentas argumentam que elas melhoram a segurança dos alunos e os resultados de aprendizagem, mas este artigo revela
que a evidência para este argumento é de fato muito fraca. Além disso, os formuladores de políticas falharam em considerar
importantes considerações de compensação - mais notavelmente, a privacidade do aluno e sua importância para a criança
292Barrett, Lindsey, Proibir tecnologias de reconhecimento facial para crianças — e para todos os outros (24 de julho de 2020).
Boston University Journal of Science and Technology Law. Volume 26.2, em 277-278. Disponível em SSRN: https://ssrn.com/
abstract=3660118
293 https://ai-4-all.org/ AI4ALL abre portas para inteligência artificial para talentos historicamente excluídos por meio de educação e
orientação. Eu ia.
294Jessi Hempel, Fei-Fei Li's Quest To Make AI Better for Humanity, WIRED (13 de novembro de 2018),
https://www.wired.com/story/fei-fei-li-artificial-intelligence-humanity
295Rich Haridy, “AI in Schools: China's Massive and Unprecedented Education Experiment,” New Atlas – New Technology & Science
News, https://newatlas.com/china-aieducation-schools-facial-recognition/54786/, (28 de maio de 2018).
296 Artigo 19, “Privacidade e Liberdade de Expressão na Era da Inteligência Artificial,”

https://www.article19.org/wp-content/uploads/2018/04/Privacy-and-Freedom-ofExpression-In-the-Age-of Artificial-Intelligence-1.pdf,
(2018), 8.
297William Michael Carter, “Big Brother Facial Recognition Needs Ethical Regulations,” Phys.org,
https://phys.org/news/2018-07-big-brother-facial-recognition-ethical.html#jCp. (23 de julho de 2018).
298Id.
299Fedders, Barbara, The Constant and Expanding Classroom: Surveillance in K-12 Public Schools (1º de setembro de 2019). Revisão
da Lei da Carolina do Norte, vol. 97, nº 6, 2019, Disponível no SSRN: https://ssrn.com/
abstract=3453358
46
desenvolvimento; impacto desigual, particularmente para jovens pobres, negros e LGBTQ; e responsabilidade potencial para a escola
administradores.300
As justificativas gêmeas para a vigilância do aluno são a segurança e a melhoria dos resultados educacionais. As companhias
desenvolver essas tecnologias comercializá-las em um cenário de medo da violência, especialmente tiroteios em escolas,
e ansiedade sobre o sucesso acadêmico. Os legisladores estaduais parecem convencidos por essas justificativas, passando
legislação que obriga a adoção de algumas tecnologias e aloca recursos para a compra de outras. Local
os distritos escolares aproveitam o aumento do financiamento estadual para contratar funcionários de recursos escolares para o jardim de infância
até a décima segunda série. Os vários mecanismos de vigilância se combinam para tornar mais informações disponíveis
sobre mais alunos, por um período de tempo mais longo e acessível a um número maior de atores do que era
possível antes do digital
idade.301
AIEd continua a se desenvolver
Assim, o AIEd tem o potencial de automatizar drasticamente e ajudar a acompanhar o progresso do aluno em todas essas habilidades e
identificar onde é mais necessária a ajuda de um professor humano. Para os professores, o AIEd pode potencialmente ser usado para ajudar
identificar os métodos de ensino mais eficazes com base nos contextos e antecedentes de aprendizagem dos alunos. Pode
automatizar tarefas monótonas, gerar avaliações e supostamente automatizar notas e feedback. IA não
afetam apenas o que os alunos aprendem por meio de recomendações, mas também como eles aprendem, quais são as lacunas de aprendizado,
quais pedagogias são mais eficazes e como reter a atenção do aluno. Nesses casos, os professores são os
'human-in-the-loop', onde em tais contextos, o papel da IA é apenas permitir uma tomada de decisão mais informada por
professores, fornecendo-lhes previsões sobre o desempenho dos alunos ou recomendando conteúdo relevante para
302
alunos após a aprovação dos professores.
Embora o AIEd em todo o mundo esteja aumentando, 303 empresas de tecnologia educacional construindo
produtos sempre reclamaram da falta de dados relevantes para algoritmos de treinamento.304 O advento de
O COVID-19 colocou as instituições de ensino online e dependentes dos produtos EdTech para organizar o conteúdo,
gerenciar operações e se comunicar com os alunos. Essa mudança gerou enormes quantidades de dados para a EdTech
empresas nas quais podem construir sistemas de IA. Segundo relatório conjunto: 'Choque ao Sistema', publicado pela
Educate Ventures e Cambridge University, o otimismo das empresas EdTech sobre seu próprio futuro aumentou
durante a pandemia e sua preocupação mais premente era muitos clientes para atender com eficiência.305
da Lei da Carolina do Norte, vol. 97, nº 6, 2019, Disponível no SSRN: https://ssrn.com/
abstract=3453358
da Lei da Carolina do Norte, vol. 97, nº 6, 2019, disponível em SSRN: https://ssrn.com/
abstract=3453358 Consulte Julie E. Cohen, Surveillance Versus Privacy: Effects and Implications, in THE CAMBRIDGE
HANDBOOK OF SURVEILLANCE 455, 458–59 (David Gray & Stephen E.
Henderson eds., 2017) [doravante Cohen, Surveillance Versus Privacy] (documentando “emergência de vigilância
generalizada e em rede”).
302Chaudhry, Muhammad e Kazim, Emre, Artificial Intelligence in Education (Aied) a High-Level Academic and Industry Note 2021
(abril 24, 2021). Disponível em SSRN: https://ssrn.com/abstract=3833583 ou http://dx.doi.org/10.2139/ssrn.3833583
303Weller, M., 2018. Vinte anos de EdTech. Educause Review Online, 53(4), pp.34-48.
305Cambridge University Press e Educate Ventures (2021). Choque no sistema: lições da Covid-19
Volume 1: Implicações e recomendações. Disponível em: https://
www.cambridge.org/pk/files/1616/1349/4545/Shock_to_the_System_Lessons_from_Covid19_Volume
_1.pd
47
Conforme observado acima, um sistema tutor inteligente é um programa de computador que tenta imitar um professor humano para
fornecer aprendizagem personalizada aos alunos.306 Recentemente, ITSs como ASSISTments,307 iTalk2Learn,308 e Aida
Cálculo309, têm ganhado atenção.310 Apesar de serem limitados em termos do domínio que um determinado inteligente
endereços do sistema de tutoria, eles têm se mostrado eficazes em fornecer conteúdo relevante para os alunos,
interagir com os alunos e melhorar o desempenho acadêmico dos alunos.311
Os professores abandonaram a tecnologia em alguns casos porque era contraproducente. Eles conduziram
uma intervenção formativa com dezesseis professores de matemática do ensino médio e encontrou contradições sistêmicas
312
entre as opiniões dos professores e as recomendações do ITS, acabando por levar ao abandono da ferramenta.
Várias empresas de tecnologia educacional estão liderando a revolução AIEd. Novos fundos também
emergentes para investir em empresas de tecnologia educacional e para ajudar startups de tecnologia educacional a expandir seus produtos. Houve
um aumento no interesse do investidor.313 Em 2020, o valor do investimento levantado por empresas de tecnologia educacional mais de
dobrou em relação a 2019.314
EDUCATE, um acelerador líder focado em empresas de tecnologia educacional apoiado pelo UCL Institute of Education e
O Fundo Europeu de Desenvolvimento Regional foi formado para trazer pesquisas e evidências para o centro de produtos
desenvolvimento para ed-tech. Este acelerador já apoiou mais de 250 empresas de tecnologia educacional e 400
empreendedores e os ajudou a se concentrar no desenvolvimento de produtos baseados em evidências para a educação.315
Empresas como Outschool316 e ClassDojo317 obtêm os primeiros lucros, enquanto startups como Quizlet318 e ApplyBoard319
atingiu avaliações de US$ 1 bilhão. O ano passado trouxe uma enxurrada de capital de risco recorde para o setor.
Os dados do PitchBook320 mostram que as startups de edtech em todo o mundo arrecadaram US$ 10,76 bilhões no ano passado, em comparação com US$ 4,7
306Mohamed, H., & Lamia, M. (2018). Implementando sala de aula invertida que utilizou um sistema de tutoria inteligente no processo
de aprendizagem. Computadores e Educação, 124, 62–76. https://doi.org/10.1016/j.compedu.2018.05.011
307 Heffernan, NT, & Heffernan, CL (2014). O ecossistema ASSISTments: construindo uma plataforma que reúne cientistas e
professores para pesquisas minimamente invasivas sobre ensino e aprendizagem humana.
308Hasan, MA, Noor, NFM, Rahman, SSA e Rahman, MM, 2020. A transição do sistema de tutoria inteligente para o afetivo: uma
revisão e questões em aberto. Acesso IEEE
309 https://apps.apple.com/us/app/aida-calculus/id1450379917
310 https://www.pearson.com/us/higher-education/products-services-teaching/learning-engagement-tools/
aida.html
311Fang Y, Ren Z, Hu X, Graesser AC. Uma meta-análise da eficácia do ALEKS na aprendizagem. Educacional
Psicologia. 2019;39(10):1278–92
312Utterberg Modén, M., Tallvid, M., Lundin, J. e Lindström, B., 2021. Sistemas tutores inteligentes: por que os professores
abandonaram uma tecnologia destinada a automatizar os processos de ensino. Em Proceedings of the 54th Hawaii
International Conference on System Sciences (p. 1538).
313Goryachikh, SP, Sozinova, AA, Grishina, EN e Nagovitsyna, EV, 2020. Otimização do
mecanismos de gestão de investimentos de risco no âmbito da educação digital com base nas novas tecnologias de
informação e comunicação: auditoria e reorganização. Jornal Internacional de Política Econômica em Economias Emergentes,
13(6), pp.587-594.
314Natasha Mascarenhas, 13 investidores dizem que o lifelong learning está se tornando mainstream da edtech, TechCrunch (28 de
janeiro de 2021) https://techcrunch.com/2021/01/28/12-investors-say-lifelong-learning-is-taking-edtech-mainstream/
315 https://www.ucl.ac.uk/ioe/departments-and-centres/centres/ucl-knowledge-lab/educate
316 https://outschool.com/
317https://www.classdojo.com/
318https://quizlet.com/
319 https://www.applyboard.com/
320https://get.pitchbook.com/pitchbook-data/?utm_source=bing&utm_medium=cpc&utm_campaign=Brand
EUA&adgroup=Marca
Exact&utm_term=pitchbook&matchtype=e&creative=&device=c&utm_content=&kwdaud=kwd
71400116180784:loc-190&_bt=71399641520904&sfid=rFC8fCnu
dc_pcrid_71399641520904_pkw_pitchbook_ pmt_be_slid__productid__pgrid_1142393172632981_ptaid_kwd
-71400116180784:loc-190&msclkid=a73b3243d1fd1b1616d352aa0b527832
48
bilhões em 2019. Embora os atrasos nos relatórios possam alterar esse total, os dólares de VC mais que dobraram desde o
pandemia começou. Nos Estados Unidos, as startups de edtech levantaram US$ 1,78 bilhão em capital de risco em 265 negócios
durante 2020, em comparação com US$ 1,32 bilhão no ano anterior.321
Vendo o potencial de negócios do AIEd e o tipo de impacto que pode ter no futuro da humanidade, alguns dos
maiores empresas de tecnologia em todo o mundo estão se movendo para este espaço. A mudança para a educação online durante o
A pandemia impulsionou a demanda por serviços em nuvem. AWS da Amazon (Amazon Web Services) foi líder em nuvem
instituições facilitadas por provedores de serviços para escalar seus serviços de exames online322
O CEO do Google, Sunder Pichai, afirmou que a pandemia ofereceu uma oportunidade incrível para reimaginar a educação.
O Google lançou mais de 50 novas ferramentas de software durante a pandemia para facilitar o aprendizado remoto. Google
O Classroom, que faz parte do Google Apps for Education (GAFE), está sendo amplamente usado por escolas em todo o mundo
globo para oferecer educação. A pesquisa mostra que melhora a dinâmica da aula e ajuda no aprendizado do aluno
participação.323
O desenvolvimento da infra-estrutura AIEd é um problema. O verdadeiro progresso exigirá o desenvolvimento de um AIEd

Infrastructure.324 Este não será, no entanto, um único sistema AIEd monolítico. Em vez disso, ele se parecerá com o
mercado que foi desenvolvido para aplicativos de smartphones: centenas e depois milhares de AIEd individuais
componentes, desenvolvidos em colaboração com educadores, em conformidade com padrões de dados internacionais uniformes e
compartilhado com pesquisadores e desenvolvedores em todo o mundo. Esses padrões permitirão a coleta de dados em nível de sistema e
análises que nos ajudam a aprender muito mais sobre a aprendizagem
em si e como melhorá -lo.325
AIEd ético
Vários usos indevidos éticos da IA,326 incluindo incidentes de segurança e segurança cibernética, ocorreram no mundo real,
327 328
assim, a ética em IA tornou-se uma preocupação real para pesquisadores, profissionais e governos de IA.
321Natasha Mascarenhas, 13 investidores dizem que o lifelong learning está se tornando mainstream da edtech, TechCrunch (28 de
janeiro de 2021) https://techcrunch.com/2021/01/28/12-investors-say-lifelong-learning-is-taking-edtech-mainstream/
322Sobre a Amazônia. (2020). Ajudando 700.000 alunos na transição para o aprendizado remoto. [online] Disponível em:
https://www.aboutamazon.com/news/community/helping700-000-students-transition-to-remote-learning
Amazon Web Services, Inc. (sd). Amazon Web Services, Inc. [online] Disponível em: https://
pages.awscloud.com/whitepaper-emerging-trends-in-education.html
323Al-Maroof, RAS e Al-Emran, M., 2018. Aceitação dos alunos do Google Classroom: um estudo exploratório usando a abordagem
PLS-SEM. Jornal Internacional de Tecnologias Emergentes na Aprendizagem, 13(6); Iftakhar, S., 2016. Sala de aula do Google:
o que funciona e como. Revista de Educação e Ciências Sociais, 3(1), pp.12-18; Shaharanee, INM, Jamil, JM e Rodzi, SSM,
2016, agosto. Google sala de aula como ferramenta de aprendizagem ativa. Em AIP Conference Proceedings (Vol. 1761,
No. 1, p. 020069). AIP Publishing LLC. Shaharanee, INM, Jamil, JM e Rodzi, SSM, 2016. A aplicação do Google Classroom
como ferramenta de ensino e aprendizagem. Journal of Telecommunication, Electronic and Computer Engineering (JTEC), 8(10),
pp.5-8; Sudarsana, IK, Putra, IBMA, Astawa, INT e Yogantara, IWL, 2019, março. O uso do Google Classroom no processo
de aprendizagem. No Journal of Physics: Conference Series (Vol. 1175, No. 1, p. 012165).
Editora IOP.
324Luckin, R., Holmes, W., Griffiths, M. e Pearson, L. (2016). A inteligência lançou um argumento a favor da IA na educação. [online]
Disponível em: https://static.googleusercontent.com/media/edu.google.com/en//pdfs/
Intelligence-Unleashed-Publication.pdf
325Id.
326Johnson, DG e Verdicchio, M., 2019. AI, agência e responsabilidade: o caso de fraude da VW e além. ai &
Society, 34(3), pp.639-647.
327Yampolskiy, RV e corretor ortográfico, MS, 2016. Segurança de inteligência artificial e segurança cibernética: uma linha do tempo de
Falhas de IA. pré-impressão arXiv arXiv:1610.07997.
328Leslie, David, Compreendendo a ética e a segurança da inteligência artificial: um guia para o design e a segurança responsáveis
Implementação de Sistemas de IA no Setor Público (10 de junho de 2019). Disponível em SSRN: https://
ssrn.com/abstract=3403301 ou http://dx.doi.org/10.2139/ssrn.3403301
49
Dentro da ciência da computação, há uma sobreposição crescente com a fronteira Digital Ethics329 e a ética e
engenharia focada no desenvolvimento de IA Confiável.330
Conforme declarado acima, a ética na IA se concentra na justiça, responsabilidade, transparência e explicabilidade.331 Ética na IA
precisa ser incorporado em todo o pipeline de desenvolvimento, desde a decisão de começar a coletar dados até o
decisão de implantar o modelo de aprendizado de máquina na produção. Do ponto de vista da engenharia, quatro verticais de
auditoria algorítmica foram identificados. Isso inclui auditoria de desempenho e robustez, viés e
discriminação, interpretabilidade e explicabilidade e privacidade algorítmica.332
Na educação, a IA ética é crucial para garantir o bem-estar dos alunos, professores e outras partes interessadas envolvidas.
Com o fluxo de grandes quantidades de dados devido ao aprendizado online durante a pandemia, testemunharemos uma
número crescente de produtos ed-tech alimentados por IA. Há preocupações de que a ética no AIEd não seja uma prioridade para
a maioria das empresas EdTech, ou mesmo escolas. Há uma falta de conscientização das partes interessadas relevantes sobre
onde AIEd pode dar errado.
AIEd erroneamente prevendo que um determinado aluno não terá um desempenho muito bom nos exames de final de ano ou pode desistir
no próximo ano pode desempenhar um papel muito importante na determinação da reputação desse aluno perante os professores e
pais. Essa reputação vai determinar como esses professores e pais tratam o aluno, resultando em um enorme
impacto psicológico e ainda mais, incluindo oportunidades perdidas, com base nessa descrição errada por uma ferramenta de IA.
Discutimos acima, o caso de destaque no Reino Unido em que o sistema de classificação de IA mostrou-se tendencioso
contra estudantes de origens mais pobres.
Há importantes desenvolvimentos éticos da AIEd. Por exemplo, a professora Rose Luckin, professora de
projeto centrado na University College London, juntamente com Sir Anthony Seldon, vice-chanceler da Universidade de
Buckingham e Priya Lakhani, fundador e CEO da Century Tech, fundaram o Institute of Ethical AI em
Educação (IEAIed)333 para criar consciência e promover os aspectos éticos da IA na educação. Em seu ínterim
relatório, o instituto identificou sete requisitos diferentes para IA ética para mitigar qualquer tipo de risco para
alunos. Isso incluiu agência humana e supervisão para verificar novamente o desempenho da IA; robustez técnica
e segurança para evitar que a IA dê errado com novos dados ou seja hackeada; diversidade para garantir uma distribuição semelhante de
diferentes demografias nos dados e evitar vieses; não discriminação e justiça para impedir que alguém seja
tratados injustamente pela IA; privacidade e governança de dados para garantir que todos tenham o direito de controlar seus dados;
transparência para melhorar a compreensão dos produtos de IA; bem-estar social e ambiental para garantir que
AI não está causando nenhum dano e responsabilidade para garantir que alguém assuma a responsabilidade por qualquer
irregularidades da IA. Recentemente, o instituto também publicou uma estrutura334 para educadores, escolas e ed-tech
329Floridi, L. (2018). Ética suave, o governo do digital e o Regulamento Geral de Proteção de Dados.
Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 376(2133),
20180081
330Brundage, M., Avin, S., Wang, J., Belfield, H., Krueger, G., Hadfield, G., ... & Maharaj, T. (2020). Na direção
desenvolvimento de IA confiável: mecanismos para apoiar reivindicações verificáveis. arXiv pré-impressão arXiv:2004.07213
331Zhang, Y., Liao, QV e Bellamy, RKE (2020). Efeito da confiança e explicação na precisão e confiança
calibração na tomada de decisão assistida por IA. Anais da Conferência de 2020 sobre Justiça, Responsabilidade e
Transparência. Disponível em: https://arxiv.org/pdf/2001.02114.pdf; Kazim, Emre e Koshiyama, Adriano,
Uma visão geral de alto nível da ética da IA (24 de maio de 2020). Disponível em SSRN: https://ssrn.com/abstract=3609292
ou http://dx.doi.org/10.2139/ssrn.3609292; e Yu, H., Shen, Z., Miao, C., Leung, C., Lesser, VR e Yang,
Q., 2018. Construindo ética em inteligência artificial. arXiv pré-impressão arXiv:1812.02953
332Koshiyama, A., Kazim, E., Treleaven, P., Rai, P., Szpruch, L., Pavey, G., Ahamat, G., Leutner, F., Goebel, R., Knight, A., Adams,
J., Hitrova, C., Barnett, J., Nachev, P., Barber, D., Chamorro-Premuzic, T., Klemmer, K. , Gregorovic, M., Khan, S. e Lomas,
E. (2021). Rumo à auditoria de algoritmos: uma pesquisa sobre o gerenciamento de riscos legais, éticos e tecnológicos
de IA, ML e algoritmos associados. [online] papers.ssrn.com. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?
abstract_id=3778998.
333Universidade de Buckingham. (nd). O Instituto de IA Ética na Educação. Disponível em: https://
www.buckingham.ac.uk/research-the-institute-for-ethical-ai-ineducation/
50
empresas para ajudá-los com a seleção de produtos ed-tech com várias considerações éticas em mente, como
design ético, transparência, privacidade, etc.
Com o foco no aprendizado on-line durante a pandemia e mais utilização de ferramentas de tecnologia educacional com IA, os riscos de
IA dando errado aumentou significativamente para todas as partes interessadas, incluindo empresas EdTech, escolas, professores e
alunos. Muito mais trabalho precisa ser feito em IA ética em contextos de aprendizagem para mitigar esses riscos, incluindo
avaliações equilibrando riscos e oportunidades de AIEd.
Avançando com o AIEd
Com o foco na educação online devido ao COVID19 no ano passado, será interessante ver o que a IA tem a oferecer
oferta para educação com grandes quantidades de dados sendo coletados online por meio de Sistemas de Gerenciamento de Aprendizagem
(LMS) e Massive Online Open Courses (MOOCS).
Com o influxo de novos dados educacionais, técnicas de IA, como aprendizado por reforço, serão utilizadas para
capacitar a EdTech. Tais algoritmos funcionam melhor com grandes quantidades de dados que foram limitadas a muito poucos
Empresas EdTech em 2021. Esses algoritmos alcançaram desempenho inovador em vários domínios
incluindo games335 saúde336 e robótica.337 Isso representa uma grande oportunidade para aplicações de IA em
educação para melhorar ainda mais os resultados de aprendizagem dos alunos, reduzindo a carga de trabalho dos professores e tornando o aprendizado
interativo e divertido para professores e alunos. Com um número crescente de produtos EdTech alimentados por IA no futuro,
também haverá muita pesquisa sobre AIEd ético. Assim, mais trabalho será feito para garantir uma IA robusta e segura
produtos para todas as partes interessadas.
As empresas de tecnologia educacional podem começar compartilhando diretrizes detalhadas para o uso de produtos de tecnologia educacional com IA, especialmente
especificando quando não confiar neles. Isso inclui a documentação detalhada de todo o aprendizado de máquina
pipeline de desenvolvimento com as suposições feitas, abordagens de processamento de dados usadas e os processos
seguido, para selecionar modelos de aprendizado de máquina.
Os reguladores desempenharão um papel muito importante em garantir que certos princípios éticos sejam seguidos no desenvolvimento
esses produtos de IA ou há certos limites mínimos de desempenho que esses produtos alcançam.338
O objetivo do AIEd não é promover a IA, mas apoiar a educação. IA de ponta por pesquisadores e empresas
ao redor do mundo não tem muita utilidade se não estiver ajudando os alunos a aprender. Com os recentes desenvolvimentos em IA,
particularmente técnicas de aprendizado por reforço, o futuro oferece possibilidades empolgantes de onde a IA levará
Educação. Para uma IA impactante na educação, alunos e professores sempre precisam estar no epicentro da IA
desenvolvimento.339
334Instituto de IA Ética na Educação Estrutura Ética para IA na Educação (IEAIED). 2021. [online] .
Disponível em: https://fb77c667c4d6e21c1e06.b-cdn.net/wp#content/uploads/2021/03/The-Ethical Framework-for-AI-in-
Education-Institute-for#Ethical-AI-in-Education-Final-Report.pdf
335Silver, D., Huang, A., Maddison, CJ, Guez, A., Sifre, L., Van Den Driessche, G., Schrittwieser, J., Antonoglou,
I., Panneershelvam, V., Lanctot, M. e Dieleman, S., 2016. Dominando o jogo Go com redes neurais profundas e busca em
árvore. natureza, 529(7587), pp.484-489.
336 Callaway, E. (2020). “Vai mudar tudo”: a IA da DeepMind dá um salto gigantesco na resolução de estruturas de proteínas.
Natureza. Disponível em: https://www.nature.com/articles/d41586-020-03348-4.
337Kober, J., Bagnell, JA e Peters, J., 2013. Aprendizagem por reforço em robótica: uma pesquisa. The International Journal of Robotics
Research, 32(11), pp.1238-1274
338 Kazim, E., Denny, DMT e Koshiyama, A. (2021). Auditoria de IA e avaliação de impacto: de acordo com o
Gabinete do comissário de informação do Reino Unido. AI e Ética, 1-10.
51
Um estudo de 2016, realizado em nome do Parlamento Europeu, conclui que os aplicativos de IA serão usados em
quase todos os campos de nossas vidas diárias.340 Os desenvolvimentos recentes e as promessas futuras das tecnologias de IA fornecem
inúmeros benefícios que abrangem uma infinidade de partes interessadas, indústrias e setores. O futuro sublime que
A IA poderia fornecer foi reconhecida por empresas, governos e indivíduos, e com razão. Como
observado pelo Grupo de Especialistas Independentes de Alto Nível (HLEG) da União Europeia em IA, “A IA não é um fim em si mesma,
mas sim um meio promissor para aumentar o florescimento humano, melhorando assim o bem-estar individual e social e o bem comum,
bem como trazendo progresso e inovação.”341
A segurança, no que se refere à IA e tecnologias relacionadas, “não deve ser confinada à segurança física, mas deve
estendem-se à preocupação com danos não físicos, como privacidade, segurança e a desumanização do cuidado de pessoas em
os mais vulneráveis.”342 Encontrar maneiras de navegar pelos desafios físicos e não físicos apresentados pela IA
será essencial para construir a confiança e promover o seu desenvolvimento. Um elemento adicional que merece
atenção estão relacionadas com as preocupações de segurança cibernética, que se manifestam de forma bastante diferente dos ataques cibernéticos
(alimentados, por exemplo, por bugs no código) com ataques de IA assumindo a forma de manipulação de padrões e envenenamento junto
com “limitações inerentes nos algoritmos de IA subjacentes que atualmente não podem ser corrigidos”.
De importância crescente, juntamente com as questões tecnológicas da IA, estão as questões éticas. IA é ideológica. 344A preocupação
sobre a IA não é que ela não cumprirá a promessa feita por seus defensores, mas sim que cumprirá, mas
sem a devida consideração de implicações éticas. Existem suposições embutidas nos algoritmos que irão
moldar como a educação é realizada, e se os alunos não se encaixam nesse modelo conceitual, eles se encontrarão
fora da área onde um humano poderia aplicar a sabedoria humana para alterar ou intervir em um resultado injusto. Talvez
uma das maiores contribuições da IA será nos fazer entender o quão importante é a sabedoria humana
educação e em qualquer outro lugar.345
O Papel das Corporações e dos Governos na Mitigação dos Impactos Prejudiciais da IA nas Crianças
A Microsoft e o Google estabeleceram princípios para o uso ético da IA.346 No entanto, nenhum dos dois possui políticas voltadas ao
público específicas para IA e crianças.347Vários centros de tecnologia, associações comerciais e ciência da computação
grupos também elaboraram princípios éticos em relação à IA.348 No entanto, a maioria excluiu referência explícita
aos direitos da criança ou discussão sobre os riscos para as crianças em tecnologias que incorporam IA.349
340Inclui aplicações para pessoas com deficiência e para a vida quotidiana dos idosos, cuidados de saúde, agricultura e
abastecimento de alimentos, manufatura, energia e infraestrutura crítica, logística e transporte, bem como segurança e proteção.
SERVIÇO DE INVESTIGAÇÃO DO PARLAMENTAR EUROPEU: SCI. FORESIGHT UNIT, ASPECTOS ÉTICOS DOS SISTEMAS
CYBER-FÍSICOS 36 (2016), em 9. [doravante EPRS] Para obter mais informações sobre a relevância crescente das aplicações
de IA, consulte a Comunicação da Comissão sobre Inteligência Artificial para a Europa, COM (2018) 237 final (25 de abril de 2018)
[doravante Inteligência Artificial para a Europa].
341 Diretrizes de Ética para IA Confiável, GP ESPECIALISTA INDEPENDENTE DE ALTO NÍVEL. SOBRE INTELIGÊNCIA
ARTIFICIAL (abril de 2019), em 4 [doravante referido como Diretrizes de Ética HLEG AI].
342Michael Guihot, Anne F. Matthew e Nicolas Suzor, Nudging Robots: Innovative Solutions to Regulate
Inteligência Artificial, 20 VAND. J. ENT. & TEC. L. 385, 407 (2017).
343MARCUS COMITER, ATACANDO A INTELIGÊNCIA ARTIFICIAL: A VULNERABILIDADE DE SEGURANÇA DA IA E O QUE
OS FORMADORES DE POLÍTICAS PODEM FAZER SOBRE ISSO 1, 80 (agosto de 2019), https://www.belfercenter.org/sites/default/files/2019-
08/AttackingAI/AttackingAI.pdf.
344Audrey Watters, “AI Is Ideological,” New Internationalist, 1 de novembro de 2017. https://
newint.org/features/2017/11/01/audrey-watters-ai
345Audrey Watters, "AI Is Ideological", New Internationalist, 1º de novembro de 2017.
346“Questões importantes de direitos humanos da Microsoft,” Relatório -FY17, Microsoft.
file:///Users/dreatrew/Downloads/Microsoft_Salient_Human_Rights_Issues_Report-FY17.pdf; Google, “Desenvolvimento
Responsável de IA” (2018).
347Microsoft, “The Future Computed: Artificial Intelligence and Its Role in Society” (2018).
348Alexa Hern, “Partnership on AI” Formed by Google, Facebook, Amazon, IBM and Microsoft,” The Guardian, (28 de setembro de 2016).
349 John Gerard Ruggie, “Global Governance and New Governance Theory,” Lessons from Business and Human Rights, Global Governance
20, http://journals.rienner.com/doi/pdf/10.5555/1075-2846-20.1.5, (2014), 5.
52
Assim como as corporações, os governos de todo o mundo adotaram estratégias para se tornarem líderes no desenvolvimento
350
e uso de IA, promovendo ambientes adequados para inovadores e corporações. No entanto,
na maioria dos casos, os formuladores de políticas não abordaram diretamente como os direitos das crianças se encaixam em
sua estratégia nacional.351 Embora a estratégia da França lide com as questões relacionadas à IA de alcançar a igualdade de
gênero e implementar a alfabetização digital por meio da educação, falta um escopo mais amplo de impacto nas crianças.352 Um
exemplo de país que adotou uma visão mais proativa dos benefícios potenciais da IA para crianças é a Índia, cuja iniciativa de IA
se concentra no uso de IA na educação, como a criação de ferramentas de aprendizagem adaptativa para aprendizagem
personalizada, integração de sistemas de tutoria inteligentes e interativos, adição de ferramentas preditivas para informar pré
ação efetiva para alunos com previsão de abandono escolar e desenvolvimento de racionalização automatizada de professores
e cursos de desenvolvimento profissional personalizados.353 As tecnologias de IA obviamente devem ser implantadas na
localização de crianças desaparecidas ou exploradas e usadas de outras maneiras para proteger as crianças .
Em última análise, tanto as corporações quanto os governos devem pensar em como seus sistemas e estratégias de IA podem
ser fortalecidos para maximizar os benefícios e minimizar os danos da IA para as crianças hoje e no futuro. Espera-se que o
papel da inteligência artificial na vida das crianças – de como as crianças brincam, como são educadas, como consomem
informações e aprendem sobre o mundo – aumente exponencialmente nos próximos anos.
Portanto, é imperativo que as partes interessadas se reúnam agora para avaliar os riscos do uso de tecnologias de IA e avaliar
as oportunidades de usar a inteligência artificial para maximizar o bem-estar das crianças de maneira ponderada e sistemática.
Como parte dessa avaliação, as partes interessadas devem trabalhar juntas para mapear os possíveis usos positivos e negativos
da IA na vida das crianças e desenvolver uma estrutura baseada nos direitos da criança para inteligência artificial que defina
direitos e deveres correspondentes para governos, educadores, desenvolvedores, corporações, pais e crianças em todo o mundo.
Recomendações do UNICEF sobre a implantação de IA com crianças 354
Corporações
Incorpore uma abordagem de design inclusivo ao desenvolver produtos voltados para crianças, o que maximiza gênero,
diversidade geográfica e cultural e inclui uma ampla gama de partes interessadas, como pais, professores, psicólogos infantis e,
quando apropriado, as próprias crianças.
Adote uma abordagem multidisciplinar ao desenvolver tecnologias que afetam crianças e consulte a sociedade civil, incluindo a
academia, para identificar os possíveis impactos dessas tecnologias nos direitos de uma gama diversificada de possíveis
usuários finais.
Implementar segurança desde a concepção e privacidade desde a concepção para produtos e serviços dirigidos ou comumente
usados por crianças.
350 Conselho da Europa, “Recomendação CM/REC (2018)7 do Comitê de Ministros aos Estados membros sobre Diretrizes para
respeitar, proteger e cumprir os direitos da criança no ambiente digital,” (4 de julho de 2018).
351Cedric Villani, “Por uma Inteligência Artificial Significativa Rumo a uma Estratégia Francesa e Européia,” (8 de março
2018).
352Id.
353NITI Aayog, “Documento de discussão: Estratégia Nacional para Inteligência Artificial,”
http://niti.gov.in/writereaddata/files/document_publication/NationalStrategy-for-AI-DiscussionPaper.pdf, (junho de 2018).
354 https://www.unicef.org/innovation/media/10726/file/Executive%20Summary:%20Memorandum%20on
%20Artificial%20Inteligência%20e%20Criança%20Direitos.pdf
53
Desenvolva planos para lidar com dados especialmente confidenciais, incluindo revelações de abuso ou outros danos que
possam ser compartilhados com a empresa por meio de seus produtos.
Educadores
Esteja ciente e considere o uso de ferramentas baseadas em inteligência artificial que podem melhorar o aprendizado dos
alunos, como produtos especializados que podem ajudar alunos não tradicionais e crianças com necessidades especiais.
Evite o uso excessivo de tecnologias de reconhecimento facial e comportamental, inclusive para fins de segurança, de maneiras
que possam restringir o aprendizado e a tomada de riscos apropriada.
governos
Crie campanhas de conscientização que ajudem os pais a entender a importância da privacidade para seus filhos. Os
pais devem estar cientes de como os dados de seus filhos estão sendo usados e processados para diversas finalidades,
inclusive para campanhas publicitárias direcionadas ou recomendações não educativas de mídia social. Eles também
devem estar cientes dos impactos de postar fotos ou outras informações sobre seus filhos nas mídias sociais e como
o que eles postam pode ter um impacto dramático no futuro de seus filhos.
Adote uma estrutura clara e abrangente para corporações que imponha um dever de cuidado relacionado ao manuseio
de dados de crianças e forneça um remédio eficaz (judicial, administrativo ou outro) para violação. Este quadro deve
incorporar princípios de direitos humanos.
Estabelecer uma abordagem nacional abrangente para o desenvolvimento de inteligência artificial que preste atenção
específica às necessidades das crianças como titulares de direitos e as integre aos planos políticos nacionais.
Pais
Revise cuidadosamente e considere evitar a compra e o uso de produtos que não tenham políticas claras sobre
proteção de dados, segurança e outras questões que afetam as crianças.
Incorpore as crianças no processo de tomada de decisão sobre como seus dados serão usados, incluindo postar suas
informações em sites de mídia social e usar brinquedos inteligentes, ajudando as crianças a entender os possíveis
impactos de curto e longo prazo desse uso.
Identifique como as escolas podem estar usando tecnologias baseadas em inteligência artificial para ajudar ou vigiar
as crianças e levante preocupações se algumas das políticas ou procedimentos não forem claros ou parecerem
inadequados, por exemplo, ao desincentivar a criatividade e a exploração.
Incentivar o uso de tecnologias baseadas em inteligência artificial quando elas parecem melhorar o aprendizado e esse
benefício positivo foi confirmado por pesquisa e análise revisadas por pares
54

06 - Ed Tech 1 - Humans Right

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

06 - Ed Tech 1 - Humans Right

Enviado por

Direitos autorais:

Formatos disponíveis

Machine Translated by Google

Susan von Struensee, JD, MPH

É necessário continuar analisando a relação da IA como impactando direta ou indiretamente o ensino

6, Disponível em SSRN: https://ssrn.com/abstract=2585686 ou http://dx.doi.org/10.2139/ssrn.2585686

IA, Machine Learning e Deep Learning

Papel da IA na vida das crianças

A Convenção sobre os Direitos da Criança

20 Nações Unidas, Convenção sobre os Direitos da Criança, 20.11.1989, http://

O CRC identifica vários direitos implicados pelas tecnologias de IA

40 UNICEF, IA para crianças, https://www.unicef.org/globalinsight/featured-projects/ai-children (Recente

International Affairs, 2015, 22. https://www.unicef-irc.org/publications/795-one-in-three-internet governance-and-

11 Cópia eletrônica disponível em: https://ssrn.com/abstract=3882296

IA e o Padrão dos Direitos da Criança por Design (CRbD)

despercebido e em grande escala, o riscode exclusão e discriminação generalizada é real." 67

Isso demonstra a imensa urgência de expandir o estudo das implicações da IA em múltiplos

Disponível em SSRN: https://ssrn.com/abstract=3575140 ou http://dx.doi.org/10.2139/ssrn.3575140

IA e plataformas de mídia social infantil

73 O YouTube é uma subsidiária do Google, cuja empresa controladora é a Alphabet, Inc.

94 “Termos de Serviço - YouTube,” https://www.youtube.com/static?template=terms, (13 de novembro de 2018);

105Elias, Nelly e Idit Sulkin. 2.

IA e os direitos das crianças em jogo: brinquedos inteligentes

158Rafferty et al., “Towards a Privacy Rule,” supra

O certificado KidSafe+ requer requisitos adicionais e conformidade com a COPPA.176 As comunicações

170Mattel, “Hello Barbie Frequently Asked Questions,” (2015), http://

Inteligência Artificial na Educação (AIEd) e EdTech: Direitos da Criança e Educação

O que é AIEd e EdTech?

Educação e desenvolvimento infantil

AIEd e privacidade infantil

211Conselho da Europa. (2020, 20 de novembro). Comitê Consultivo da Convenção para a Proteção da

AIEd Ética por Design

AIEd Applications-Connecting AI com EdTech

AIEd nos EUA

Considerações selecionadas sobre políticas de educação em IA nos EUA

257 Conheça a Equipe OET - Escritório de Tecnologia Educacional

296 Artigo 19, “Privacidade e Liberdade de Expressão na Era da Inteligência Artificial,”

AIEd continua a se desenvolver

O desenvolvimento da infra-estrutura AIEd é um problema. O verdadeiro progresso exigirá o desenvolvimento de um AIEd

Avançando com o AIEd

Recomendações do UNICEF sobre a implantação de IA com crianças 354

Você também pode gostar