Escolar Documentos
Profissional Documentos
Cultura Documentos
APRESENTAÇÃO
1) Este Projeto foi elaborado pela Comissão de Estudo de Inteligência Artificial (CE-021:005.042)
Projeto em Consulta Nacional
22.02.2024
a) é previsto para ser idêntico à ISO/IEC 42001:2023, que foi elaborada pelo Joint Technical
Committee Information Technology (ISO/JTC 1), Subcommittee Artificial Intelligence (SC 42);
2) Aqueles que tiverem conhecimento de qualquer direito de patente devem apresentar esta
informação em seus comentários, com documentação comprobatória.
© ABNT 2024
Todos os direitos reservados. Salvo disposição em contrário, nenhuma parte desta publicação pode ser modificada
ou utilizada de outra forma que altere seu conteúdo. Esta publicação não é um documento normativo e tem
apenas a incumbência de permitir uma consulta prévia ao assunto tratado. Não é autorizado postar na internet
ou intranet sem prévia permissão por escrito. A permissão pode ser solicitada aos meios de comunicação da ABNT.
Prefácio Nacional
A ABNT chama a atenção para que, apesar de ter sido solicitada manifestação sobre eventuais direitos
de patentes durante a Consulta Nacional, estes podem ocorrer e devem ser comunicados à ABNT
a qualquer momento (Lei nº 9.279, de 14 de maio de 1996).
Os Documentos Técnicos ABNT, assim como as Normas Internacionais (ISO e IEC), são voluntários
e não incluem requisitos contratuais, legais ou estatutários. Os Documentos Técnicos ABNT não
substituem Leis, Decretos ou Regulamentos, aos quais os usuários devem atender, tendo precedência
sobre qualquer Documento Técnico ABNT.
Ressalta-se que os Documentos Técnicos ABNT podem ser objeto de citação em Regulamentos
Técnicos. Nestes casos, os órgãos responsáveis pelos Regulamentos Técnicos podem determinar
as datas para exigência dos requisitos de quaisquer Documentos Técnicos ABNT.
A ABNT NBR ISO/IEC 42001 foi elaborada no Comitê Brasileiro de Tecnologias da Informação
e Transformação Digital (ABNT/CB-021), pela Comissão de Estudo de Inteligência Artificial
(CE-021:005.042). O Projeto circulou em Consulta Nacional conforme Edital nº XX, de XX.XX.XXXX
a XX.XX.XXXX.
A ABNT NBR ISO/IEC 42001 é uma adoção idêntica, em conteúdo técnico, estrutura e redação,
à ISO/IEC 42001:2023, que foi elaborada pelo Joint Technical Committee Information Technology
(ISO/JTC 1), Subcommittee Artificial Intelligence (SC 42).
Scope
This document specifies the requirements and provides guidance for establishing, implementing,
maintaining and continually improving an AI management system within the context of an organization.
This document is intended for use by an organization providing or using products or services that utilize
AI systems. This document helps the organization develop or use AI systems responsibly in pursuing
its objectives and meet applicable regulatory requirements, obligations related to interested parties and
expectations from them.
This document is applicable to any organization, regardless of size, type and nature, that provides
or uses products or services that utilize AI systems.
Projeto em Consulta Nacional
Introdução
A inteligência artificial (IA) é cada vez mais aplicada em todos os setores que utilizam a tecnologia
da informação e espera-se que seja um dos principais motores da economia. Uma consequência desta
tendência é que determinadas aplicações podem dar origem a desafios sociais nos próximos anos.
Projeto em Consulta Nacional
Este documento pretende ajudar as organizações a desempenhar de forma responsável o seu papel
no que diz respeito aos sistemas de IA (por exemplo, para utilizar, desenvolver, monitorar ou fornecer
produtos ou serviços que utilizem IA). A IA, potencialmente, sucita considerações específicas, como:
— O uso de IA para tomada de decisão automática, às vezes de forma opaca e inexplicável, pode
exigir uma gestão específica além dos sistemas de gestão clássicos de TI.
— O uso de análise de dados, insight e aprendizado de máquina, em vez de lógica codificada por
humanos para projetar sistemas, aumenta as oportunidades de aplicação para sistemas de IA
e muda a maneira como tais sistemas são desenvolvidos, justificados e implantados.
— Os sistemas de IA que realizam aprendizado contínuo mudam seu comportamento durante o uso.
Eles exigem consideração especial para garantir que seu uso responsável continue mesmo com
essas mudanças comportamentais constantes.
Este documento fornece requisitos para estabelecer, implementar, manter e melhorar continuamente
um sistema de gestão de IA no contexto de uma organização. Espera-se que as organizações
concentrem a aplicação dos requisitos em recursos exclusivos da IA. Determinados recursos
da IA, como a capacidade de aprender continuamente e melhorar ou a falta de transparência
ou explicabilidade, podem justificar diferentes salvaguardas, se forem levantadas preocupações
adicionais em comparação com a forma como a tarefa seria tradicionalmente executada. A adoção
de um sistema de gestão de IA para ampliar as estruturas de gestão existentes é uma decisão
estratégica para uma organização.
Convém que o sistema de gestão de IA esteja integrado com os processos da organização e com
a estrutura geral de gestão. Convém que questões específicas relacionadas à IA sejam consideradas
no desenho de processos, sistemas de informação e controles. Exemplos cruciais de tais processos
de gestão são:
— processos para gestão de questões relativas à fidedignidade dos sistemas de IA, como segurança,
justiça, transparência, qualidade dos dados e qualidade dos sistemas de IA ao longo de seu ciclo
de vida;
Este documento fornece diretrizes para a implantação de controles aplicáveis que deem suporte
a esses processos.
Projeto em Consulta Nacional
Este documento evita orientações específicas sobre processos de gestão. A organização pode
combinar estruturas geralmente aceitas, outras normas internacionais e sua própria experiência para
implementar processos cruciais, como gestão de riscos, gestão do ciclo de vida e gestão da qualidade
dos dados que são apropriados para casos de uso específicos, produtos ou serviços no escopo da IA.
Uma organização que cumpra os requisitos deste documento pode gerar evidências de sua
responsabilidade e responsabilização em relação ao seu papel com respeito aos sistemas de IA.
A ordem em que os requisitos são apresentados neste documento não reflete sua importância
nem implica a ordem em são implementados. Os itens da lista são enumerados apenas para fins
de referência.
Este documento aplica a estrutura harmonizada (números e títulos de seções idênticos, texto idêntico,
termos comuns e definições fundamentais) desenvolvida para aumentar o alinhamento entre normas
de sistemas de gestão [management system standards (MSS)]. O sistema de gestão de IA fornece
requisitos específicos para gerenciar questões e riscos relacionados ao uso da IA na organização.
A abordagem comum facilita a implementação e a consistência com outras normas de sistema
de gestão, por exemplo, relativas à qualidade, segurança física, segurança e privacidade.
1 Escopo
Projeto em Consulta Nacional
Este documento destina-se ao uso por uma organização que forneça ou use produtos ou serviços
que utilizem sistemas de IA. Este documento ajuda a organização a desenvolver ou utilizar sistemas
de IA de forma responsável na busca de seus objetivos e atender aos requisitos aplicáveis, obrigações
relacionadas às partes interessadas e suas expectativas.
2 Referência normativa
O documento a seguir é citado no texto de tal forma que seu conteúdo, total ou parcial, constitui
requisitos para este documento. Para referências datadas, aplicam-se somente as edições citadas.
Para referências não datadas, aplicam-se as edições mais recentes do referido documento
(incluindo emendas).
3 Termos e definições
Para os efeitos deste documento, aplicam-se os seguintes termos e definições.
A ISO e a IEC mantêm bases de dados terminológicos para uso na normalização nos seguintes
endereços:
3.1
organização
pessoa ou grupo de pessoas que tem suas próprias funções, com responsabilidades, autoridades
e relacionamentos para alcançar seus objetivos (3.6)
Nota 1 de entrada: O conceito de organização inclui, mas não é limitado a, empreendedor individual, companhia,
corporação, firma, empresa, autoridade, parceria, caridade ou instituição, ou parte ou combinação desses,
seja incorporada ou não, pública ou privada.
Nota 2 de entrada: Se a organização fizer parte de uma entidade maior, o termo “organização” refere-se
apenas à parte da entidade maior que está dentro do escopo do sistema de gestão de IA (3.4).
3.2
parte interessada (termo preferencial)
stakeholder (termo admitido)
pessoa ou organização (3.1) que pode afetar, ser afetada ou se perceber afetada por uma decisão
ou atividade
Projeto em Consulta Nacional
Nota 1 de entrada: Uma visão geral de partes interessadas em IA é fornecida na ABNT NBR ISO/IEC
22989:2023, 5.19.
3.3
Alta Direção
pessoa ou grupo de pessoas que dirige e controla uma organização (3.1) no mais alto nível
Nota 1 de entrada: A Alta Direção tem o poder de delegar autoridade e prover recursos na organização.
Nota 2 de entrada: Se o escopo do sistema de gestão (3.4) abranger apenas uma parte de uma organização,
então a Alta Direção se refere àqueles que dirigem e controlam aquela parte da organização.
3.4
sistema de gestão
conjunto de elementos inter-relacionados ou interativos de uma organização (3.1), para estabelecer
políticas (3.5) e objetivos (3.6), assim como processos (3.8), para alcançar esses objetivos
Nota 1 de entrada: Um sistema de gestão pode abordar uma única disciplina ou várias disciplinas.
Nota 2 de entrada: Os elementos do sistema de gestão incluem estrutura da organização, papéis e responsabilidades,
planejamento e operação.
3.5
política
intenções e direção de uma organização (3.1), como formalmente expressas pela sua Alta Direção (3.3)
3.6
objetivo
resultado a ser alcançado
Nota 2 de entrada: Objetivos podem se relacionar a diferentes disciplinas (como finanças, saúde e segurança
e meio ambiente). Podem ser, por exemplo, de toda a organização ou específicos de um projeto, produto
ou processo (3.8).
Nota 3 de entrada: Um objetivo pode ser expresso de outras formas, por exemplo, como um resultado
pretendido, um propósito, um critério operacional, como um objetivo de IA ou pelo uso de outras palavras com
significado similar (por exemplo, finalidade, meta ou alvo).
Nota 4 de entrada: No contexto do sistema de gestão (3.4) de IA, objetivos de IA são estabelecidos pela
organização (3.1), coerentemente com a política (3.5) de IA, para alcançar resultados específicos.
3.7
risco
efeito da incerteza
Nota 2 de entrada: Incerteza é o estado, ainda que parcial, de deficiência de informação relacionada a um
evento, sua consequência ou probabilidade, ou deficiência de compreensão ou conhecimento de um evento,
sua consequência ou probabilidade.
Nota 3 de entrada: Risco é frequentemente caracterizado pela referência a “eventos” potenciais (como definido
no ISO Guide 73) e “consequências” (como definido no ISO Guide 73), ou uma combinação desses.
Projeto em Consulta Nacional
Nota 4 de entrada: Risco é frequentemente expresso em termos de uma combinação das consequências de um
evento (incluindo mudanças em circunstâncias) e a “probabilidade” associada (como definido no ISO Guide 73)
de ocorrência.
3.8
processo
conjunto de atividades inter-relacionadas ou interativas que usam ou transformam entradas para
entregar resultados
Nota 1 de entrada: Se o resultado de um processo for chamado de saída, o produto ou serviço depende
do contexto da referência.
3.9
competência
capacidade de aplicar conhecimento e habilidades para alcançar resultados pretendidos
3.10
informação documentada
informação que se requer que seja controlada e mantida por uma organização (3.1) e pelo meio no qual
ela está contida
Nota 1 de entrada: Informação documentada pode estar em qualquer formato ou meio, e pode ser proveniente
de qualquer fonte.
3.11
desempenho
resultado mensurável
Nota 1 de entrada: Desempenho pode se relacionar tanto a constatações quantitativas como qualitativas.
Nota 2 de entrada: Desempenho pode se relacionar à gestão de atividades, processos (3.8), produtos
(incluindo serviços), sistemas ou organizações (3.1).
Nota 3 de entrada: No contexto deste documento, o desempenho refere-se tanto aos resultados alcançados
pelo uso de sistemas de IA quanto aos resultados relacionados ao sistema de gestão (3.4) de IA. A interpretação
correta do termo fica clara a partir do contexto de seu uso.
3.12
melhoria contínua
atividade recorrente para elevar o desempenho (3.11)
3.13
eficácia
extensão na qual atividades planejadas são realizadas e resultados planejados são alcançados
3.14
requisito
Projeto em Consulta Nacional
Nota 1 de entrada: “Geralmente implícita” significa que é costume ou prática comum para a organização (3.1)
e partes interessadas (3.2) que a necessidade ou expectativa sob consideração esteja implícita.
Nota 2 de entrada: Um requisito especificado é aquele que é declarado, por exemplo, em informação
documentada (3.10).
3.15
conformidade
atendimento de um requisito (3.14)
3.16
não conformidade
não atendimento de um requisito (3.14)
3.17
ação corretiva
ação para eliminar a(s) causa(s) de uma não conformidade (3.16) e para prevenir recorrência
3.18
auditoria
processo (3.8) sistemático, independente e documentado para obter evidência de auditoria e avalia-la
objetivamente para determinar a extensão na qual os critérios de auditoria são atendidos
Nota 1 de entrada: Uma auditoria pode ser uma auditoria interna (primeira parte) ou uma auditoria externa
(segunda parte ou terceira parte), e pode ser uma auditoria combinada (combinando duas ou mais disciplinas).
Nota 2 de entrada: Uma auditoria interna é conduzida pela própria organização (3.1) ou por uma parte
externa em seu nome.
Nota 3 de entrada: “Evidência de auditoria” e “critérios de auditoria” estão definidos na ABNT NBR ISO 19011.
3.19
medição
processo (3.8) para determinar um valor
3.20
monitoramento
determinação da situação de um sistema, um processo (3.8) ou uma atividade
Nota 1 de entrada: Para determinar a situação, pode haver a necessidade de verificar, supervisionar
ou observar criticamente.
3.21
controle
<risco> medida que mantém e/ou modifica o risco (3.7)
Nota 1 de entrada: Controles incluem, mas não estão limitados a, qualquer processo, política, dispositivo,
prática, ou outras condições e/ou ações que mantêm e/ou modificam o risco.
Nota 2 de entrada: Controles podem nem sempre exercer o efeito modificador pretendido ou presumido.
Nota 3 de entrada: Esta definição é diferente da apresentada na ABNT NBR ISO/IEC 22989:2023.
[FONTE: ABNT NBR ISO 31000:2018, inclusão da Nota 3 de entrada e tag de domínio <risco>]
3.22
Projeto em Consulta Nacional
órgão diretivo
pessoa ou grupo de pessoas responsabilizadas pelo desempenho e conformidade da organização
Nota 1 de entrada: Nem todas as organizações, particularmente as pequenas, terão um corpo diretivo
separado da Alta Direção.
Nota 2 de entrada: Um órgão diretivo pode incluir, mas não está limitado a, conselho de administração,
comitês do conselho, conselho fiscal, curadores ou supervisores
3.23
segurança da informação
preservação da confidencialidade, integridade e disponibilidade da informação
Nota 1 de entrada: Outras propriedades, como autenticidade, responsabilidade, não repúdio e confiabilidade,
também podem estar envolvidas.
3.24
avaliação de impacto do sistema de IA
processo formal e documentado pelo qual os impactos para indivíduos (e grupos de indivíduos)
e sociedades são identificados, avaliados e tratados por uma organização que desenvolva, forneça
ou use produtos ou serviços utilizando inteligência artificial
3.25
qualidade dos dados
característica dos dados que atendem aos requisitos de dados da organização para um contexto
específico
3.26
declaração de aplicabilidade
documento de todos os controles (3.23) necessários e justificativa para inclusão ou exclusão
de controles
Nota 1 de entrada: As organizações podem não requerer todos os controles listados no Anexo A ou podem
até exceder a lista no Anexo A com controles adicionais estabelecidos pela própria organização.
Nota 2 de entrada: Todos os riscos identificados devem ser documentados pela organização de acordo com
os requisitos deste documento. Todos os riscos identificados e as medidas de gestão de riscos (controles)
estabelecidas para abordá-lo devem ser refletidos na declaração de aplicabilidade.
4 Contexto da organização
4.1 Entendendo a organização e seu contexto
A organização deve determinar questões externas e internas que sejam pertinentes para o seu
propósito e que afetem a sua capacidade de alcançar o(s) resultado(s) pretendidos do seu sistema
Projeto em Consulta Nacional
de gestão de IA.
A organização deve considerar o propósito pretendido dos sistemas de IA que são desenvolvidos,
fornecidos ou utilizados pela organização. A organização deve determinar seus papéis com relação
a esses sistemas de IA.
NOTA 1 Para compreender a organização e seu contexto, pode ser útil que a organização determine
seus papéis relativos ao sistema de IA. Estes papéis podem incluir, mas não estão limitados a, um ou mais
dos seguintes:
— produtores de IA, incluindo desenvolvedores de IA, projetistas de IA, operadores de IA, testadores
e avaliadores de IA, implementadores de IA, profissionais de fator humano de IA, especialistas
de domínio, avaliadores de impacto de IA, compradores, profissionais de governança e supervisão
de IA;
Uma descrição detalhada desses papéis é fornecida na ABNT NBR ISO/IEC 22989. Além disso,
os tipos de papéis e sua relação com o ciclo de vida do sistema de IA também são descritos na estrutura
de gestão de riscos de IA do NIST[29]. Os papéis da organização podem determinar a aplicabilidade
e a extensão da aplicabilidade dos requisitos e controles neste documento.
NOTA 2 As questões externas e internas a serem consideradas nesta Seção podem variar de acordo
com os papéis e jurisdição da organização e seu impacto na sua capacidade de alcançar o(s) resultado(s)
pretendido(s) de seu sistema de gestão de IA. Estes podem incluir, mas não estão limitados a:
5) cenário competitivo e tendências para novos produtos e serviços que utilizem sistemas de IA.
2) obrigações contratuais;
NOTA 3 A determinação de papéis pode ser formada por obrigações relacionadas a categorias de dados
que a organização processa (por exemplo, processador de DP ou controlador de DP ao tratar DP).
Ver ABNT NBR ISO/IEC 29100 para DP e funções relacionadas. As funções também podem ser informadas
por obrigações legais específicas para sistemas de IA.
— quais desses requisitos serão atendidos por meio do sistema de gestão de IA.
NOTA As partes interessadas relevantes podem ter requisitos relacionados com as alterações climáticas.
5 Liderança
5.1 Liderança e comprometimento
A Alta Direção deve demonstrar liderança e comprometimento em relação ao sistema de gestão de IA:
— assegurando que a política de IA (ver 5.2) e os objetivos de IA (ver 6.2) sejam estabelecidos
e compatíveis com o direcionamento estratégico da organização;
— apoiando outros papéis pertinentes para demonstrar sua liderança conforme aplicável às áreas
sob sua responsabilidade.
NOTA 1 Referência a “negócio” neste documento pode ser interpretada, de modo amplo, como aquelas
atividades centrais para os propósitos da existência da organização.
NOTA 2 Estabelecer, encorajar e modelar uma cultura dentro da organização, com o objetivo de assumir
uma abordagem responsável para utilização, desenvolvimento e governança de sistemas de IA pode ser uma
demonstração importante do comprometimento e da liderança da Alta Direção. Assegurar a conscientização
e o compliance com esta abordagem responsável e em apoio ao sistema de gestão de IA por meio da liderança
pode ajudar no sucesso do sistema de gestão de IA.
5.2 Política de IA
A política de IA deve:
Objetivos de controles e controles para estabelecer uma política de IA são fornecidos em A.2
na Tabela A.1. Orientações para implementação deste controle são fornecidas em B.2.
A Alta Direção deve assegurar que as responsabilidades e autoridades para papéis pertinentes sejam
atribuídas e comunicadas na organização.
NOTA Um controle para definir e alocar papéis e responsabilidades é fornecido em A.3.2 na Tabela A.1.
Orientações para implementação deste controle são fornecidas em B.3.2.
6 Planejamento
6.1 Ações para abordar riscos e oportunidades
6.1.1 Geral
Ao planejar o sistema de gestão de IA, a organização deve considerar as questões referidas em 4.1
e os requisitos referidos em 4.2, e determinar os riscos e oportunidades que precisam ser abordados para:
NOTA 1 As considerações para determinar a quantidade e o tipo de risco que uma organização está
disposta a perseguir ou reter são fornecidas nas ABNT NBR ISO/IEC 38507 e ABNT NBR ISO/IEC 23894.
— o uso pretendido;
b) como:
A organização deve reter informação documentada sobre as ações tomadas para identificar e abordar
os riscos de IA e as oportunidades de IA.
NOTA 3 Orientações sobre como implementar a gestão de riscos para organizações que desenvolvam,
forneçam ou usem produtos, sistemas e serviços de IA são fornecidas na ABNT NBR ISO/IEC 23894.
NOTA 4 O contexto da organização e suas atividades podem ter impacto nas atividades de gestão de riscos
da organização.
NOTA 5 A forma de definir o risco e, portanto, de prever a gestão de riscos pode variar entre os setores
e as indústrias. A definição de risco de 3.7 permite uma visão ampla de risco adaptável a qualquer setor, como
os setores mencionados no Anexo D. Em qualquer caso, é o papel da organização, como parte da avaliação
de riscos, adotar primeiramente uma visão de risco adaptada ao seu contexto. Isso pode incluir a abordagem
do risco por meio de definições usadas em setores para os quais o sistema de IA seja desenvolvido e usado,
como a definição do Guia ISO/IEC 51.
a) seja informado e alinhado com a política de IA (ver 5.2) e os objetivos de IA (ver 6.2);
NOTA Ao avaliar as consequências como parte de 6.1.2 d) 1), a organização pode utilizar uma avaliação
de impacto do sistema de IA, como indicado em 6.1.4.
b) seja projetado de forma que avaliações de riscos de IA recorrentes possam produzir resultados
consistentes, válidos e comparáveis.
A organização deve reter informação documentada sobre o processo de avaliação de riscos de IA.
NOTA 1 O Anexo A fornece controles de referência para o cumprimento dos objetivos organizacionais
e abordagem de riscos relacionados ao design e ao uso de sistemas de IA.
c) considerar os controles do Anexo A que sejam relevantes para a implementação das opções
de tratamento de riscos de IA;
d) identificar se controles adicionais são necessários, além dos previstos no Anexo A, para
implementar todas as opções de tratamentos de riscos;
NOTA 2 Os objetivos de controle estão implicitamente incluídos nos controles escolhidos. A organização
pode selecionar um conjunto apropriado de objetivos de controles e controles listados no Anexo A. Os controles
do Anexo A não são exaustivos, e objetivos de controle e controles adicionais podem ser necessários.
Se forem necessários controles diferentes ou adicionais, além dos do Anexo A, a organização pode conceber
esses controles ou retomá-los a partir de fontes existentes. A gestão de riscos de IA pode ser integrada
a outros sistemas de gestão, se aplicável.
NOTA 3 A organização pode fornecer justificativas documentadas para excluir quaisquer objetivos de controle
em geral ou para sistemas de IA específicos, sejam aqueles listados no Anexo A ou os estabelecidos pela
própria organização.
A organização deve obter aprovação da direção designada para o plano de tratamento de riscos de IA
e para aceitação dos riscos residuais de IA. Os controles necessários devem ser:
A organização deve reter informação documentada sobre o processo de tratamento de risco de IA.
A organização deve definir um processo para avaliar as potenciais consequências para indivíduos
ou grupos de indivíduos, ou ambos, e para sociedades, que possam ser resultantes do desenvolvimento,
fornecimento ou uso de sistemas de IA.
de um sistema de IA tem com seu uso pretendido, assim como um mau uso previsível sobre indivíduos,
grupos de indivíduos, ou ambos, e sobre as sociedades.
A avaliação de impacto deve considerar os contextos técnicos e sociais específicos em que o sistema
de IA estiver implantado e as jurisdições aplicáveis.
O resultado da avaliação de impacto do sistema de IA deve ser documentado. Onde for apropriado,
o resultado da avaliação de impacto pode ser disponibilizado às partes interessadas relevantes,
conforme definido pela organização.
Os objetivos de IA devem:
d) ser monitorados;
e) ser comunicados;
NOTA No Anexo C é fornecida uma lista não exaustiva de objetivos de IA relacionados com a gestão
de riscos. Objetivos de controle e controles para identificação de objetivos de desenvolvimento responsável
e uso de sistemas de IA assim como as medidas para alcançá-los são fornecidos em A.6.1 e A.9.3
na Tabela A.1. Orientações para implementação destes controles são fornecidas em B.6.1 e B.9.3.
Projeto em Consulta Nacional
7 Apoio
7.1 Recursos
NOTA Objetivos de controle e controles para recursos de IA são fornecidos em A.4 na Tabela A.1.
Orientações para implementação destes controles são fornecidas na Seção B.4.
7.2 Competência
A organização deve:
— determinar a competência necessária de pessoas que realizem trabalhos sob o seu controle,
que afetem seu desempenho de IA;
— assegurar que essas pessoas sejam competentes com base em educação, treinamento
ou experiência apropriados;
— onde aplicável, tomar ações para adquirir a competência necessária e avaliar a eficácia das
ações tomadas.
NOTA 1 Orientações para implementação para recursos humanos, incluindo considerações sobre expertise
necessária, são fornecidas em B.4.6.
NOTA 2 Ações aplicáveis podem incluir, por exemplo, o fornecimento de treinamento, a mentorização
ou a mudança de atribuições de pessoas atualmente empregadas; ou podem empregar ou contratar pessoas
competentes.
7.3 Conscientização
Pessoas que realizam trabalhos sob o controle da organização devem estar conscientes:
7.4 Comunicação
7.5.1 Geral
b) informação documentada determinada pela organização como sendo necessária para a eficácia
do sistema de gestão de IA.
NOTA A extensão da informação documentada para um sistema de gestão de IA pode diferir de uma
organização para outra devido:
— à competência de pessoas.
— o formato (por exemplo, linguagem, versão de software, gráficos) e a mídia (por exemplo,
papel, eletrônico);
Informação documentada requerida pelo sistema de gestão de IA e por este documento deve ser
controlada para assegurar que:
a) ela esteja disponível e adequada para uso, onde e quando ela for necessária;
— retenção e disposição.
NOTA O acesso pode implicar uma decisão relacionada à permissão apenas para visualizar a informação
documentada ou a permissão e autoridade para visualizar e alterar a informação documentada.
8 Operação
8.1 Planejamento e controle operacionais
A organização deve planejar, implementar e controlar os processos necessários para atender aos
requisitos e para implementar as ações determinadas na Seção 6:
A organização deve implementar os controles determinados de acordo com 6.1.3 que estão
relacionados com a operação do sistema de gestão de IA (por exemplo, desenvolvimento de sistema
de IA e controles relacionados ao ciclo de vida de uso).
A eficácia desses controles deve ser monitorada e ações corretivas devem ser consideradas,
se os resultados pretendidos não forem alcançados. O Anexo A lista os controles de referência
e o Anexo B fornece orientações para a implementação deles.
Informação documentada deve estar disponível na medida necessária para haver confiança de que
os processos tenham sido conduzidos como planejado.
A organização deve assegurar que os processos, produtos ou serviços terceirizados que sejam
relevantes para o sistema de gestão de IA sejam controlados.
A organização deve realizar avaliações de risco de IA de acordo com 6.1.2 em intervalos planejados
ou quando mudanças significativas forem propostas ou simplesmente ocorrerem.
A organização deve reter informação documentada dos resultados de todas as avaliações de risco de IA.
A organização deve implementar o plano de tratamento de riscos de IA de acordo com 6.1.3 e verificar
a sua eficácia.
Quando as avaliações de riscos identificarem novos riscos que requeiram tratamento, deve ser
Projeto em Consulta Nacional
executado um processo de tratamento de risco de acordo com 6.1.3 para esses riscos.
A organização deve realizar avaliações de impacto do sistema de IA de acordo com 6.1.4, em intervalos
planejados ou quando for proposta a ocorrência de mudanças significativas.
9 Avaliação de desempenho
9.1 Monitoramento, medição, análise e avaliação
— os métodos para monitoramento, medição, análise e avaliação, quando aplicável, para assegurar
resultados válidos;
9.2.1 Geral
A organização deve realizar auditorias internas em intervalos planejados, para fornecer informação
se o sistema de gestão de IA:
a) está conforme:
A organização deve:
c) assegurar que os resultados das auditorias sejam relatados para a gerência pertinente.
Informação documentada deve ser disponibilizada como evidência da implementação do(s) programa(s)
de auditoria e dos resultados de auditoria.
9.3.1 Geral
b) mudanças em questões externas e internas que sejam pertinentes para o sistema de gestão
de IA;
3) resultados de auditoria;
Os resultados da análise crítica pela direção devem incluir decisões relacionadas a oportunidades
para melhoria contínua e qualquer necessidade de mudanças no sistema de gestão de IA.
Informação documentada deve ser disponibilizada como evidência dos resultados de análises críticas
Projeto em Consulta Nacional
pela direção.
10 Melhoria
10.1 Melhoria contínua
b) avaliar a necessidade de ação para eliminar a(s) causa(s) da não conformidade, a fim de que ela
não se repita ou ocorra em outro lugar:
Ações corretivas devem ser apropriadas aos efeitos das não conformidades encontradas.
Anexo A
(normativo)
A.1 Geral
Os controles detalhados na Tabela A.1 fornecem uma referência à organização quanto ao atendimento
de seus objetivos organizacionais e à abordagem dos riscos relacionados ao projeto e à operação
de sistemas de IA. Nem todos os objetivos de controle e os controles listados na Tabela A.1
necessitam ser utilizados, podendo a organização decidir planejar e implementar seus próprios
controles (ver 6.1.3).
O Anexo B fornece orientações para a implementação de todos os controles listados na Tabela A.1.
Anexo B
(normativo)
B.1 Geral
As orientações para implementação documentadas neste Anexo referem-se aos controles
apresentados na Tabela A.1. Este Anexo fornece informações para apoiar a implementação dos
controles apresentados na Tabela A.1 e para atender ao objetivo do controle, mas as organizações
não precisam documentar ou justificar a inclusão ou exclusão de orientação para implementação
na declaração de aplicabilidade (ver 6.1.3).
Este Anexo deve ser utilizado como orientação para determinar e implementar controles para
o tratamento de riscos de IA no sistema de gestão de IA definido neste documento. Os controles
organizacionais e técnicos adicionais que não os incluídos neste Anexo podem ser determinados
(ver tratamento de riscos no sistema de gestão de IA em 6.1.3). Este Anexo pode ser considerado
um ponto de partida para o desenvolvimento de implementação de controles específicos da organização.
B.2.1 Objetivo
Fornecer direção e suporte da gestão para sistemas de IA de acordo com os requisitos do negócio.
B.2.2 Política de IA
Controle
Convém que a organização documente a política para o desenvolvimento ou uso de sistemas de IA.
— estratégia de negócio;
Convém que a política de IA considere aspectos específicos do tópico, quando for necessário
para fornecer orientação adicional ou fornecer referências cruzadas a outras políticas que lidem com
esses aspectos. Exemplos de tais tópicos incluem:
Controle
Convém que a organização determine onde outras políticas podem ser afetadas ou aplicadas
a objetivos em relação aos sistemas de IA.
Muitos domínios se cruzam com a IA, incluindo qualidade, segurança, segurança física e privacidade.
Convém que a organização considere uma análise completa para determinar se e onde as políticas
atuais podem necessariamente se cruzar e atualize essas políticas se as atualizações forem
necessárias ou inclua provisões na política de IA.
Outras informações
Convém que as políticas que o órgão diretivo define em nome da organização informem a política
de IA. A ABNT NBR ISO/IEC 38507 fornece orientações para que os membros do órgão diretivo
de uma organização habilitem e governem o sistema de IA durante todo o seu ciclo de vida.
Controle
Convém que um papel aprovado pela direção seja responsável pelo desenvolvimento, análise crítica
e avaliação da política de IA ou dos componentes nela contidos. Convém que análise crítica inclua
a avaliação de oportunidades de melhoria das políticas e da abordagem da organização para gerenciar
sistemas de IA em resposta a mudanças no ambiente organizacional, circunstâncias de negócios,
condições legais ou ambiente técnico.
Convém que a análise crítica da política de IA considere os resultados das análises críticas
Projeto em Consulta Nacional
pela direção.
B.3.1 Geral
Objetivo
Controle
— gestão de riscos;
— segurança;
— segurança física;
— privacidade;
— desenvolvimento;
— desempenho;
— supervisão humana;
Convém que as responsabilidades dos vários papéis sejam definidas ao nível adequado para o(s)
indivíduo(s) desempenhar(em) as suas funções.
Projeto em Consulta Nacional
Controle
Convém que a organização defina e coloque em prática um processo para o relato de preocupações
sobre o papel da organização em relação a um sistema de IA ao longo de seu ciclo de vida.
d) estipule poderes adequados de investigação e resolução para as pessoas referidas na alínea c);
f) forneça uma proteção eficaz contra represálias, tanto para as pessoas envolvidas na denúncia
como na investigação (por exemplo, permitindo que as denúncias sejam feitas de forma anônima
e confidencial);
g) forneça relatórios de acordo com 4.4 e, se for o caso, com a alínea e), mantendo a confidencialidade
e anonimato da alínea a) e respeitando considerações gerais de confidencialidade de negócio;
NOTA A organização pode utilizar os mecanismos de relato existentes como parte desse processo.
Outras informações
Além das orientações para implementação fornecidas nesta Seção, convém que a organização
considere ainda a ABNT NBR ISO 37002.
B.4.1 Objetivo
Controle
A documentação dos recursos do sistema de IA é fundamental para entender os riscos, bem como
os potenciais impactos do sistema de IA (positivos e negativos) para indivíduos ou grupos de indivíduos,
ou ambos, e para as sociedades. A documentação de tais recursos (que pode utilizar, por exemplo,
diagramas de fluxo de dados ou diagramas de arquitetura de sistema) pode informar as avaliações
de impacto do sistema de IA (ver B.5).
— recursos de dados, isto é, dados utilizados em qualquer fase do ciclo de vida do sistema de IA;
— recursos de sistema e computação (por exemplo, hardware para desenvolver e executar modelos
de IA, armazenamento de dados e recursos de ferramentas);
— recursos humanos, ou seja, pessoas com a expertise necessária (por exemplo, para
o desenvolvimento, vendas, treinamento, operação e manutenção do sistema de IA) em relação
ao papel da organização durante todo o ciclo de vida do sistema de IA.
Os recursos podem ser fornecidos pela própria organização, por seus clientes ou por terceiros.
Outras informações
Controle
Como parte da identificação de recursos, convém que a organização documente informações sobre
os recursos de dados utilizados para o sistema de IA.
Convém que a documentação sobre dados inclua, mas não se limite a, os seguintes tópicos:
— data em que os dados foram atualizados ou modificados pela última vez (por exemplo, etiqueta
de data nos metadados);
— qualidade dos dados (por exemplo, como descrito na série ISO/IEC 52592));
— preparação de dados.
Controle
Como parte da identificação de recursos, convém que a organização documente informações sobre
os recursos de ferramentas utilizados para o sistema de IA.
— métodos de otimização;
— métodos de avaliação;
Outras informações
A ISO/IEC 23053 fornece orientação detalhada sobre os tipos, métodos e abordagens para vários
recursos de ferramentas para aprendizado de máquina.
2) Em elaboração. Estágio no momento da publicação: ISO/IEC FDIS 5259-1:2024, ISO/IEC DIS 5259-2:2024,
ISO/IEC FDIS 5259-3:2024, ISO/IEC FDIS 5259-4:2024, ISO/IEC DIS 5259-5:2024, ISO/IEC CD TR 5259-6:2024.
Como parte da identificação de recursos, convém que a organização documente informações sobre
o sistema e os recursos computacionais utilizados para o sistema de IA.
Projeto em Consulta Nacional
— requisitos de recursos do sistema de IA (isto é, para ajudar a assegurar que o sistema possa
ser executado em dispositivos de recursos restritos);
— impacto do hardware usado para executar as cargas de trabalho do sistema de IA (por exemplo,
o impacto no ambiente, tanto pelo uso quanto pela fabricação do hardware ou pelo custo
da utilização do hardware).
Convém que a organização considere que diferentes recursos podem ser necessários para permitir
a melhoria contínua dos sistemas de IA. O desenvolvimento, a implantação e a operação do sistema
podem ter diferentes necessidades e requisitos do sistema.
NOTA A ABNT NBR ISO/IEC 22989 descreve várias considerações sobre os recursos do sistema.
Convém que a organização considere a necessidade de expertises diversas e inclua os tipos de funções
necessárias para o sistema. Por exemplo, a organização pode incluir grupos demográficos específicos
relacionados a conjuntos de dados usados para treinar modelos de aprendizado de máquina, se esse
for um componente necessário do projeto do sistema. Os recursos humanos necessários podem
incluir, mas não se limitam a:
— cientistas de dados;
Diferentes recursos podem ser necessários em diferentes estágios do ciclo de vida do sistema de IA.
B.5.1 Objetivo
Controle
— as sociedades.
a) circunstâncias nas quais convém que uma avaliação de impacto do sistema de IA seja realizada,
que podem incluir, mas não se limitam a:
b) elementos que fazem parte do processo de avaliação de impacto do sistema de IA, que podem incluir:
d) como a avaliação de impacto do sistema de IA pode ser utilizada (por exemplo, como ela
Projeto em Consulta Nacional
pode informar o projeto ou o uso do sistema (ver B.6 e B.8), se pode desencadear análises
críticas e aprovações);
e) indivíduos e sociedades que são potencialmente impactados com base no propósito pretendido
do sistema, uso e características (por exemplo, avaliação de indivíduos, grupos de indivíduos
ou sociedades).
Convém que a avaliação de impacto considere elementos do sistema de IA, incluindo os dados
usados para o desenvolvimento do sistema de IA, das tecnologias de IA usadas e da funcionalidade
do sistema geral.
Os processos podem variar com base no papel da organização e no domínio da aplicação de IA,
dependendo das disciplinas específicas para as quais o impacto é considerado (por exemplo,
segurança, privacidade e segurança física).
Outras informações
NOTA A ABNT NBR ISO/IEC 23894 descreve como uma organização pode realizar análises de impacto para
a própria organização, juntamente com os indivíduos ou grupos de indivíduos, ou ambos, e com as sociedades,
como parte de um processo geral de gestão de riscos.
A documentação pode ser útil para determinar as informações que convém que sejam comunicadas
aos usuários e outras partes interessadas.
Os itens que convém que a organização considere documentar podem incluir, mas não estão limitados a:
— uso pretendido, assim como qualquer uso indevido razoável e previsível do sistema de IA;
— complexidade do sistema;
— papel dos seres humanos nas relações com o sistema, incluindo as capacidades, processos
e ferramentas de supervisão humana, disponíveis para evitar impactos negativos;
Controle
Convém que a organização avalie e documente os impactos potenciais dos sistemas de IA para
indivíduos ou grupos de indivíduos ao longo do ciclo de vida do sistema.
— equidade;
— responsabilização;
— transparência e explicabilidade;
— segurança e privacidade;
— consequências financeiras;
— acessibilidade;
— direitos humanos.
Outras informações
Onde necessário, convém que a organização consulte peritos (por exemplo, investigadores, especialistas
no assunto ou utilizadores) para obter uma compreensão completa dos potenciais impactos do sistema
nos indivíduos ou grupos de indivíduos, ou ambos, e nas sociedades.
Controle
Convém que a organização avalie e documente os potenciais impactos sociais de seus sistemas
de IA ao longo de seu ciclo de vida.
Projeto em Consulta Nacional
Os impactos sociais podem variar muito, dependendo do contexto da organização e dos tipos
de sistemas de IA. Os impactos sociais dos sistemas de IA podem ser benéficos e prejudiciais.
Exemplos desses potenciais impactos sociais podem incluir:
— sustentabilidade ambiental (incluindo os impactos nos recursos naturais e nas emissões de gases
de efeito estufa);
— econômica (incluindo o acesso aos serviços financeiros, às oportunidades de emprego, aos impostos,
ao intercâmbio e ao comércio);
— saúde e segurança física (incluindo o acesso aos cuidados de saúde, diagnóstico e tratamento
médicos, e os potenciais danos físicos e psicológicos);
— normas, tradições, cultura e valores (incluindo desinformação que leve a preconceitos ou danos
aos indivíduos ou grupos de indivíduos, ou ambos, e às sociedades).
Outras informações
Convém que a organização considere como os seus sistemas de IA podem ser usados indevidamente
para criar danos sociais e como eles podem ser usados para lidar com danos históricos. Por exemplo,
os sistemas de IA podem impedir o acesso a serviços financeiros, como empréstimos, concessões,
seguros e investimentos e, da mesma forma, os sistemas de IA podem melhorar o acesso
a esses instrumentos?s
Os sistemas de IA têm sido usados para influenciar os resultados das eleições e para criar
desinformação (por exemplo, deepfakes em mídia digital), podendo levar a distúrbios políticos
e sociais. O uso de sistemas de IA pelo governo para fins de justiça criminal expôs o risco de vieses
para sociedades, indivíduos ou grupos de indivíduos. Convém que a organização considere como
os maus atores podem usar indevidamente os sistemas de IA e se os sistemas de IA reforçam vieses
sociais históricos indesejados.
Os sistemas de IA podem ser usados para diagnosticar e tratar doenças, e para determinar
qualificações para benefícios à saúde. Os sistemas de IA também são implantados em cenários onde
o mau funcionamento pode resultar em morte ou ferimentos em humanos (por exemplo, automóveis
autônomos, equipes homem-máquina). Convém que a organização considere os resultados positivos
e negativos ao usar sistemas de IA em cenários relacionados à saúde e segurança física.
NOTA O ISO/IEC TR 24368 fornece uma visão geral de alto nível das preocupações éticas e sociais
relativas a sistemas e aplicações de IA.
Projeto em Consulta Nacional
B.6.1.1 Objetivo
Controle
Convém que a organização identifique objetivos (ver 6.2) que afetem os processos de projeto
e desenvolvimento do sistema de IA. Convém que estes objetivos sejam considerados nos processos
de projeto e desenvolvimento. Por exemplo, se uma organização determinar “justiça” como
um objetivo, convém que isso seja considerado durante a especificação de requisitos, aquisição
de dados, condicionamento de dados, treinamento de modelos, verificação e validação etc. Convém
que a organização forneça requisitos e diretrizes conforme necessário para assegurar que as medidas
sejam integradas nas várias etapas (por exemplo, a exigência de usar uma ferramenta ou método
de teste específico para lidar com injustiça ou viés indesejado) para atingir tais objetivos.
Outras informações
Técnicas de IA estão sendo usadas para aumentar as medidas de segurança, como previsão
de ameaças, detecção e prevenção de ataques de segurança. Esta é uma aplicação de técnicas
de IA que podem ser usadas para reforçar medidas de segurança para proteger sistemas de IA
e sistemas de software convencionais não baseados em IA. O Anexo C fornece exemplos de objetivos
organizacionais para a gestão de riscos, que podem ser úteis na determinação dos objetivos para
o desenvolvimento de sistemas de IA.
Controle
Convém que a organização defina e documente os processos específicos para o projeto e desenvolvimento
responsáveis do sistema de IA.
— estágios do ciclo de vida (um modelo genérico de ciclo de vida do sistema de IA é fornecido pela
ABNT NBR ISO/IEC 22989, mas a organização pode especificar seus próprios estágios de ciclo
Projeto em Consulta Nacional
de vida);
— em que fases convém que sejam realizadas avaliações de impacto do sistema de IA;
— expectativas e regras sobre dados de treinamento (por exemplo, que dados podem ser usados,
fornecedores de dados aprovados e rotulagem);
— critérios de liberação;
— usabilidade e controlabilidade;
Definir os critérios e requisitos para cada estágio do ciclo de vida do sistema de IA.
Controle
a) por que o sistema de IA deve ser desenvolvido, por exemplo, se é impulsionado por um caso
de negócios, por solicitação do cliente ou por política governamental;
b) como o modelo pode ser treinado e como os requisitos de dados podem ser atingidos.
Convém que os requisitos do sistema de IA sejam especificados e abranjam todo o ciclo de vida
do sistema de IA. Convém que tais requisitos sejam revisitados nos casos em que o sistema de IA
desenvolvido não puder funcionar como pretendido ou se surgirem novas informações que possam
ser usadas para alterar e melhorar os requisitos. Por exemplo, desenvolver o sistema de IA pode
Projeto em Consulta Nacional
Outras informações
Os processos para descrever o ciclo de vida do sistema de IA são fornecidos na ISO/IEC 5338.
Para obter mais informações sobre o projeto centrado no ser humano para sistemas interativos,
ver ISO 9241-210.
Controle
Existem muitas opções de projeto necessárias para um sistema de IA, incluindo, mas não limitado a:
— forma como o modelo se destina a ser treinado e qualidade dos dados (ver B.7);
— ameaças à segurança consideradas durante o ciclo de vida do sistema de IA; ameaças de segurança
específicas de sistemas de IA incluem envenenamento de dados, roubo de modelos ou ataques
de inversão de modelos;
Pode haver várias iterações entre o projeto e o desenvolvimento, mas convém que a documentação
no estágio seja mantida e que uma documentação final da arquitetura do sistema esteja disponível.
Outras informações
Para mais informações sobre o projeto centrado no ser humano para sistemas interativos,
ver ISO 9241-210.
Controle
Convém que a organização defina e documente medidas de verificação e validação para o sistema
de IA e especifique critérios para o seu uso.
Projeto em Consulta Nacional
— seleção dos dados de teste e a sua representatividade em relação ao domínio de uso pretendido;
Convém que a organização defina e documente critérios de avaliação, como, mas não se limite a:
— fatores operacionais, como qualidade dos dados e uso pretendido, incluindo intervalos
aceitáveis de cada fator operacional;
— quaisquer usos pretendidos que possam exigir fatores operacionais mais rigorosos a serem
definidos, incluindo diferentes intervalos aceitáveis para fatores operacionais ou taxas
de erro mais baixas;
— quaisquer fatores aceitáveis que possam explicar a incapacidade de atingir um nível mínimo
de desempenho-alvo, especialmente quando o sistema de IA é avaliado quanto aos impactos nos
indivíduos ou grupos de indivíduos, ou ambos, e nas sociedades (por exemplo, baixa resolução
de imagem para sistemas de visão computacional ou ruído de fundo que afeta sistemas
de reconhecimento de fala). Convém documentar também os mecanismos que lidam com o baixo
desempenho do sistema de IA como resultado desses fatores.
Convém que o sistema de IA seja avaliado em relação aos critérios documentados para avaliação.
NOTA Mais informações sobre como lidar com a robustez de redes neurais podem ser encontradas
no ISO/IEC TR 24029-1.
Projeto em Consulta Nacional
Controle
Controle
Convém que a organização defina e documente os elementos necessários para a operação contínua
do sistema de IA. No mínimo, convém que isso inclua o monitoramento do sistema e do desempenho,
reparos, atualizações e suporte.
Cada atividade mínima para operação e monitoramento pode considerar vários aspectos. Por exemplo:
— Alguns sistemas de IA implantados evoluem seu desempenho como resultado do ML, onde os dados
de produção e os dados de saída são usados para treinar ainda mais o modelo de ML. Nos casos
em que o aprendizado continuado é utilizado, convém que a organização monitore o desempenho
do sistema de IA para assegurar que ele continue a atender seus objetivos de projeto e opere nos
dados de produção como pretendido;
— O desempenho de alguns sistemas de IA pode mudar mesmo que esses sistemas não usem
aprendizado continuado, geralmente por desvios de conceito ou dados de produção. Nesses
— Os reparos podem incluir respostas a erros e falhas no sistema. Convém que a organização
tenha processos para a resposta e reparo desses problemas. Além disso, as atualizações
Projeto em Consulta Nacional
podem ser necessárias à medida que o sistema evolui ou à medida que problemas críticos
são identificados, ou como resultado de problemas identificados externamente (por exemplo,
não conformidade com as expectativas do cliente ou requisito legal). Convém haver processos
em vigor para atualizar o sistema, incluindo componentes afetados, cronograma de atualização
e informações aos usuários sobre o que está incluído na atualização;
— As atualizações do sistema também podem incluir alterações nas operações do sistema, usos
pretendidos novos ou modificados ou outras alterações na funcionalidade do sistema. Convém
que a organização tenha procedimentos para lidar com mudanças operacionais, incluindo
a comunicação aos usuários;
— O suporte ao sistema pode ser interno, externo ou ambos, dependendo das necessidades
da organização e de como o sistema foi adquirido. Convém que os processos de suporte
considerem como os usuários podem entrar em contato com a ajuda apropriada, como
os problemas e incidentes são relatados, além de também levar em conta contratos e métricas
de nível de serviço de suporte;
— Sempre que os sistemas de IA forem utilizados para finalidades diferentes daquelas para
as quais foram concebidos ou de formas não previstas, convém considerar a adequação dessas
utilizações;
Outras informações
Convém que a organização considere o desempenho operacional que pode afetar as partes
interessadas e considere isso ao projetar e determinar os critérios de desempenho.
Os critérios de desempenho podem incluir aspectos estatísticos, como taxas de erro e duração
do processamento. Para cada critério, convém que a organização identifique todas as métricas
relevantes, bem como as interdependências entre elas. Para cada métrica, convém que a organização
considere valores aceitáveis com base, por exemplo, nas recomendações de especialistas do domínio
e na análise das expectativas das partes interessadas, relativas às práticas existentes que não sejam
de IA.
Por exemplo, uma organização pode determinar que obter a pontuação F1 é um valor apropriado
com base em sua avaliação do impacto de falsos positivos e falsos negativos, conforme descrito
na ISO/IEC TS 4213. A organização pode então estabelecer um valor F1 que se espera que o sistema
de IA atenda. Convém que seja avaliado se estas questões podem ser tratadas pelas medidas
existentes. Se não for esse o caso, convém que sejam consideradas alterações às medidas existentes
ou que sejam determinadas medidas adicionais para detectar e tratar estas questões.
Convém que a organização também assegure que os meios e processos utilizados para avaliar
o sistema de IA, incluindo, quando aplicável, a seleção e gestão dos dados de avaliação, melhore
a completude e a confiabilidade na avaliação do seu desempenho em relação aos critérios definidos.
Projeto em Consulta Nacional
O modelo de qualidade na ISO/IEC 25059 pode ser usado para definir critérios de desempenho.
Controle
A documentação técnica do sistema de IA pode incluir, mas não está limitada a, os seguintes elementos:
— instruções de uso;
— limitações técnicas (por exemplo, taxas de erro aceitáveis, exatidão, confiabilidade, robustez);
— documentar um plano para gerenciar falhas. Isso pode incluir, por exemplo, a necessidade
de descrever um plano de reversão para o sistema de IA, desativar recursos do sistema de IA,
um processo de atualização ou um plano para notificar clientes, usuários etc. sobre mudanças
no sistema de IA, informações atualizadas sobre falhas no sistema e como elas podem
ser mitigadas;
— documentar procedimentos operacionais padrão para o sistema de IA, incluindo quais eventos
convém que sejam monitorados e como os logs de eventos são priorizados e analisados
criticamente. Também pode ser incluído como investigar falhas e a prevenção de falhas;
— documentar os papéis do pessoal responsável pela operação do sistema de IA, bem como
os responsáveis pela responsabilização do uso do sistema, especialmente em relação
ao tratamento dos efeitos de falhas do sistema de IA ou gerenciamento de atualizações
no sistema de IA;
Convém que a organização tenha procedimentos estabelecidos para lidar com mudanças operacionais,
incluindo comunicação com usuários e avaliações internas sobre o tipo de mudança.
Convém que a documentação esteja atualizada e precisa. Convém que a documentação seja aprovada
pela direção pertinente dentro da organização.
Quando fornecidos como parte da documentação do usuário, convém que os controles indicados
na Tabela A.1 sejam considerados.
Controle
Convém que a organização determine em quais fases do ciclo de vida do sistema de IA a manutenção
de logs de eventos seja habilitada, mas no mínimo quando o sistema de IA estiver em uso.
Convém que a organização assegure o registro em log dos sistemas de IA implantados para coletar
e registrar automaticamente logs de eventos relacionados a determinados eventos que ocorrem
durante a operação. Esse registro pode incluir, mas não está limitado a:
Os logs de eventos do sistema de IA podem incluir informações, como a hora e a data de cada vez
que o sistema de IA é usado, dados de produção nos quais o sistema de IA opera, saídas que resultem
da faixa de operação pretendida do sistema de IA etc.
Convém que os logs de eventos sejam mantidos pelo tempo necessário para o uso pretendido
do sistema de IA e dentro das políticas de retenção de dados da organização. Requisitos regulatórios
relacionados à retenção de dados podem ser aplicáveis.
Outras informações
Alguns sistemas de IA, como sistemas de identificação biométrica, podem ter requisitos de registro
adicionais, dependendo da jurisdição. Convém que as organizações estejam cientes desses requisitos.
B.7.1 Objetivo
Assegurar que a organização compreenda o papel e os impactos dos dados em sistemas de IA
na aplicação e desenvolvimento, provisionamento ou uso de sistemas de IA ao longo de seus ciclos
de vida.
A gestão de dados pode incluir vários tópicos como, mas não limitados a, os seguintes:
— implicações de privacidade e segurança devido à utilização de dados, podendo alguns dos quais
ser de natureza sensível;
NOTA Informações detalhadas do ciclo de vida do sistema de IA e conceitos de gestão de dados são
fornecidas na ABNT NBR ISO/IEC 22989.
Projeto em Consulta Nacional
Convém que a organização determine e documente detalhes sobre a aquisição e seleção dos dados
usados em sistemas de IA.
— fontes de dados (por exemplo, internos, comprados, partilhados, dados abertos, sintéticos);
— características da fonte de dados (por exemplo, estática, transmitida, coletada, gerada por
máquina);
— dados demográficos e características dos sujeitos de dados (por exemplo, vieses potenciais
ou conhecidos ou outros erros sistemáticos);
— tratamento prévio dos dados (por exemplo, usos anteriores, conformidade com requisitos
de privacidade e segurança);
Outras informações
As categorias de dados e uma estrutura para o uso de dados da ISO/IEC 19944-1 podem ser usadas
para documentar detalhes sobre a aquisição e o uso de dados.
Convém que a organização defina e documente requisitos de qualidade dos dados e assegure que
os dados usados para desenvolver e operar o sistema de IA atendam a esses requisitos.
A qualidade dos dados usados para desenvolver e operar sistemas de IA potencialmente tem impactos
significativos na validade dos resultados do sistema. A ISO/IEC 25024 define qualidade de dados
como o grau em que as características dos dados satisfazem as necessidades declaradas e implícitas,
quando usados sob condições especificadas. Para sistemas de IA que usam aprendizado de máquina
supervisionado ou semissupervisionado, é importante que a qualidade dos dados de treinamento,
validação, teste e produção seja definida, medida e melhorada na medida do possível, e convém
que a organização assegure que os dados sejam adequados ao propósito pretendido. Convém que
a organização considere o impacto do viés no desempenho do sistema e na justiça do sistema, e que
Projeto em Consulta Nacional
faça os ajustes necessários no modelo e nos dados usados para melhorar o desempenho e a justiça
para níveis aceitáveis para o caso de uso.
Outras informações
Informações adicionais sobre a qualidade dos dados estão disponíveis na série ISO/IEC 52592
sobre qualidade de dados para análise e ML. Informações adicionais sobre diferentes formas de viés
em dados usados em sistemas de IA estão disponíveis no ABNT ISO/IEC TR 24027.
Controle
Convém que a organização defina e documente um processo para verificar e registrar a proveniência
dos dados usados em seus sistemas de IA ao longo dos ciclos de vida dos dados e do sistema de IA.
De acordo com a ISO 8000-2, um registro de proveniência dos dados pode incluir informações sobre
a criação, atualização, transcrição, abstração, validação e transferência de controle dos dados. Além
disso, o compartilhamento de dados (sem transferência de controle) e as transformações de dados
podem ser considerados sob a proveniência dos dados. Dependendo de fatores como a fonte dos
dados, o seu conteúdo e o contexto da sua utilização, convém que as organizações considerem
se são necessárias medidas para verificar a proveniência dos dados.
Controle
A organização deve definir e documentar seus critérios para selecionar a preparação dos dados
e os métodos de preparação dos dados a serem usados.
— exploração estatística dos dados (por exemplo, distribuição, média, mediana, desvio-padrão,
intervalo, estratificação, amostragem) e metadados estatísticos (por exemplo, especificação
da iniciativa de documentação de dados (DDI) [28]);
— normalização;
— dimensionamento;
Para uma determinada tarefa de IA, convém que a organização documente seus critérios para
selecionar métodos e transformações específicos de preparação de dados, bem como métodos
e transformações específicos usados na tarefa de IA.
NOTA Para obter informações adicionais sobre a preparação de dados específicos para aprendizado
de máquina, ver a série ISO/IEC 52592 e ISO/IEC 23053.
B.8.1 Objetivo
Assegurar que as partes interessadas relevantes disponham das informações necessárias para
compreender e avaliar os riscos e os seus impactos (positivos e negativos).
Controle
Convém que a organização determine e forneça as informações necessárias aos usuários do sistema.
As informações sobre o sistema de IA podem incluir detalhes técnicos e instruções, bem como
notificações aos usuários sobre eles estarem interagindo com um sistema de IA, dependendo
do contexto. Isso pode também incluir o próprio sistema, bem como saídas potenciais do sistema
(por exemplo, notificar os usuários sobre uma imagem que foi criada por IA).
Embora os sistemas de IA possam ser complexos, é fundamental que os usuários sejam capazes
de entender, quando eles estiverem interagindo com um sistema de IA, como o sistema funciona.
Os usuários também precisam entender seu propósito e usos pretendidos, seu potencial de causar
danos ou beneficiar o usuário. Algumas documentações do sistema podem ser necessariamente
direcionadas para usos mais técnicos (por exemplo, administradores de sistema), e convém
que a organização compreenda as necessidades das diferentes partes interessadas e o que
a compreensibilidade pode significar para elas. Também convém que as informações sejam acessíveis,
tanto em termos de facilidade de uso para encontrá-las, quanto para os usuários que podem precisar
de recursos de acessibilidade adicionais.
As informações que podem ser fornecidas aos usuários incluem, mas não estão limitadas a:
— propósito do sistema;
— informações de contato;
Convém que os critérios utilizados pela organização para determinar se e quais informações devem
ser fornecidas sejam documentados. Os critérios relevantes incluem, mas não estão limitados ao uso
pretendido e utilização indevida razoavelmente previsível do sistema de IA, à expertise do usuário
e ao impacto específico do sistema de IA.
As informações podem ser fornecidas aos usuários de várias maneiras, incluindo instruções
documentadas de uso, alertas e outras notificações incorporadas no próprio sistema, informações
em uma página da web etc. Dependendo de quais métodos a organização usa para fornecer
informações, convém que ela valide que os usuários têm acesso a essas informações, e que
as informações fornecidas são completas, atualizadas e precisas.
Controle
Convém que a organização forneça recursos às partes interessadas para relatar os impactos adversos
do sistema.
Enquanto convém que a operação do sistema seja monitorada para problemas e falhas relatados,
também convém que a organização forneça recursos para usuários ou outras partes externas relatarem
impactos adversos (por exemplo, injustiça).
Controle
Convém que a organização determine e documente um plano para comunicar incidentes aos usuários
do sistema.
um componente de IA que faz parte de um produto que afeta a segurança física pode ter requisitos
de notificação diferentes de outros tipos de sistemas. Requisitos legais (como os contratos)
e a atividade regulatória podem ser aplicáveis, e podem especificar requisitos para:
Outras informações
As ABNT NBR ISO/IEC 27001 e ABNT NBR ISO/IEC 27701 fornecem detalhes adicionais sobre gestão
de incidentes para segurança e privacidade, respectivamente.
Em alguns casos, uma jurisdição pode exigir que informações sobre o sistema sejam compartilhadas
com as autoridades, como reguladores. Informações podem ser relatadas a partes interessadas,
como clientes ou reguladores, dentro do prazo adequado. As informações compartilhadas podem
incluir, por exemplo:
— documentação técnica do sistema, incluindo, mas não limitado a, conjuntos de dados para
treinamento, validação e testes, bem como justificativas de escolhas algorítmicas e registros
de verificação e validação;
Convém que a organização compreenda as suas obrigações em relação a esta questão e assegure
que as informações apropriadas sejam compartilhadas com as autoridades corretas. Adicionalmente,
pressupõe-se que a organização esteja ciente dos requisitos jurisdicionais relacionados a informações
compartilhadas com a autoridade de aplicação da lei.
B.9.1 Objetivo
Assegurar que a organização use sistemas de IA de forma responsável e de acordo com as políticas
organizacionais.
Convém que a organização defina e documente os processos para o uso responsável de sistemas
de IA.
Dependendo do seu contexto, a organização pode ter muitas considerações para determinar se deve
usar um determinado sistema de IA. Se o sistema de IA for desenvolvido pela própria organização
ou adquirido de terceiros, convém que a organização seja clara sobre quais são essas considerações
e desenvolva políticas para abordá-las. Alguns exemplos são:
— aprovações necessárias;
Caso a organização tenha aceitado políticas para o uso de outros sistemas, ativos etc., essas políticas
podem ser incorporadas, se desejado.
Convém que a organização identifique e documente objetivos para orientar o uso responsável
de sistemas de IA.
A organização que opera em diferentes contextos pode ter diferentes expectativas e objetivos sobre
o que constitui o desenvolvimento responsável de sistemas de IA. Dependendo de seu contexto,
convém que a organização identifique seus objetivos relacionados ao uso responsável. Alguns
objetivos incluem:
— justiça;
— responsabilização;
— transparência;
— explicabilidade;
— confiabilidade;
— segurança física;
— robustez e redundância;
Projeto em Consulta Nacional
— privacidade e segurança;
— acessibilidade.
Uma vez definidos, convém que a organização implemente mecanismos para atingir seus objetivos
dentro da organização. Isso pode incluir determinar se uma solução de terceiros atende aos objetivos
da organização ou se uma solução desenvolvida internamente é aplicável para o uso pretendido.
Convém que a organização determine em quais estágios do ciclo de vida do sistema de I.A. incorporar
objetivos de supervisão humana. Isso pode incluir:
— envolver revisores humanos para verificar os resultados do sistema de IA, incluindo ter autoridade
para sobrepor decisões tomadas por sistemas de IA;
— assegurar que a supervisão humana seja incluída, se necessário, para a utilização aceitável
do sistema de IA de acordo com as instruções ou outra documentação associada à implantação
pretendida do sistema de IA;
— monitorar o desempenho do sistema de IA, incluindo a exatidão das saídas do sistema de IA;
A necessidade de supervisão humana pode ser informada pelas avaliações de impacto dos sistemas
de IA (ver B.5). Convém que o pessoal envolvido em atividades de supervisão humana relacionadas
ao sistema de IA seja informado e treinado sobre o sistema de IA, bem como tenha compreensão
das instruções e outras documentações relacionadas ao sistema de IA, de modo que cumpram
efetivamente seus deveres para satisfazer os objetivos de supervisão humana. Ao relatar problemas
de desempenho, a supervisão humana pode aperfeiçoar os resultados do monitoramento automatizado.
Outras informações
O Anexo C fornece exemplos de objetivos organizacionais para a gestão de riscos, que podem ser
úteis para determinar os objetivos para o uso do sistema de IA.
Controle
Convém que a organização assegure que o sistema de IA seja utilizado de acordo com seu uso
pretendido e sua documentação associada.
Convém que o sistema de IA seja implantado de acordo com as instruções e demais documentações
associadas ao sistema de IA (ver B.8.2). A implantação pode requerer recursos específicos para
dar suporte à implantação, incluindo a necessidade de assegurar que a supervisão humana seja
aplicada conforme necessário (ver B.9.3). Pode ser necessário que, para o uso aceitável do sistema
Projeto em Consulta Nacional
de IA, os dados em que o sistema de IA é utilizado estejam alinhados com a documentação associada
ao sistema de IA para assegurar que o desempenho do sistema de IA seja exato.
Convém que o funcionamento do sistema de IA seja monitorado (ver B.6.2.6). Onde a implantação correta
do sistema de IA, de acordo com as suas instruções associadas, causar preocupações relacionadas
ao impacto para as partes interessadas relevantes ou aos requisitos legais da organização, convém
que a organização comunique suas preocupações ao pessoal pertinente dentro da organização,
bem como a quaisquer fornecedores terceirizados do sistema de IA.
B.10.1 Objetivo
Controle
Convém que a organização assegure que as responsabilidades dentro de seu ciclo de vida do sistema
de IA sejam alocadas entre a organização, seus parceiros, fornecedores, clientes e terceiros.
Em um ciclo de vida de um sistema de IA, as responsabilidades podem ser divididas entre partes
que fornecem dados, partes que fornecem algoritmos e modelos, e partes que desenvolvem ou usam
o sistema de IA e são responsáveis em relação a algumas ou a todas as partes interessadas. Convém
que a organização documente todas as partes que intervêm no ciclo de vida do sistema de IA e seus
papéis, e determine suas responsabilidades.
Quando a organização fornece sistemas de IA a terceiros, convém que assegure que adota
uma abordagem responsável para desenvolver sistemas de IA. Ver os controles e orientações
na Seção B.6. Convém que a organização seja capaz de fornecer a documentação necessária
(ver B.6.2.7 e B.8.2) para o sistema de IA para as partes interessadas relevantes e para o terceiro
para o qual a organização está fornecendo o sistema de IA.
Quando os dados tratados incluem DP, as responsabilidades geralmente são divididas entre
os operadores e os controladores de DP. A ABNT NBR ISO/IEC 29100 fornece mais informações
sobre controladores de DP e operadores de DP. Nos casos em que a privacidade dos DP deva ser
preservada, convém que sejam considerados controles como os descritos na ABNT NBR ISO/IEC 27701.
Com base nas atividades de tratamento de dados da organização e do sistema de IA em DP e no papel
da organização na aplicação e desenvolvimento de sistemas de IA ao longo de seu ciclo de vida,
Projeto em Consulta Nacional
a organização pode ter o papel de um controlador de DP (ou controlador conjunto de DP), operador
de DP ou ambos.
B.10.3 Fornecedores
Controle
Convém que a organização estabeleça um processo que assegure que o uso de serviços, produtos
ou materiais providos por fornecedores se alinhe com a abordagem da organização no desenvolvimento
e uso responsáveis de sistemas de IA.
Convém que as organizações considerem os diferentes tipos de fornecedores, o que eles fornecem
e o nível variável de risco que isso pode representar para o sistema e para a organização como
um todo ao determinar a seleção de fornecedores, os requisitos estabelecidos para esses fornecedores
e os níveis de monitoramento e avaliação contínuos necessários para esses fornecedores.
B.10.4 Clientes
Controle
Convém que a organização assegure que sua abordagem responsável para o desenvolvimento e uso
de sistemas de IA considere as expectativas e necessidades dos clientes.
Convém que a organização compreenda as expectativas e necessidades dos clientes quando fornecer
um produto ou serviço relacionado com um sistema de IA (isto é, quando ela própria for um fornecedor).
Estas expectativas podem surgir sob a forma de requisitos para o próprio produto ou serviço, durante
uma fase de projeto ou engenharia, ou sob a forma de requisitos contratuais ou acordos de utilização
geral. Uma organização pode ter muitos tipos diferentes de relações com os clientes, e todos eles
podem ter necessidades e expectativas diferentes.
Projeto em Consulta Nacional
Convém que a organização compreenda, em particular, a natureza complexa das relações entre
fornecedores e clientes e compreenda onde a responsabilidade recai sobre o fornecedor do sistema
de IA e onde recai sobre o cliente, sem deixar de satisfazer as necessidades e expectativas deste.
Por exemplo, a organização pode identificar riscos relacionados ao uso de seus produtos e serviços
de IA pelo cliente e pode decidir tratar os riscos identificados, fornecendo informações apropriadas
ao seu cliente, para que ele possa tratar os riscos correspondentes.
Anexo C
(informativo)
C.1 Geral
Este Anexo descreve objetivos organizacionais potenciais, fontes de risco e descrições que podem
ser considerados pela organização ao gerenciar riscos. Este Anexo não pretende ser exaustivo nem
aplicável a todas as organizações. Convém que a organização determine os objetivos e as fontes
de risco considerados relevantes para ela. A ABNT NBR ISO/IEC 23894 fornece informações mais
detalhadas sobre esses objetivos e fontes de risco, e sua relação com a gestão de riscos. A avaliação
de sistemas de IA, inicialmente, regularmente e quando necessário, fornece evidências para avaliar
quando um sistema de IA está sendo utlizado contra os objetivos da organização.
C.2 Objetivos
C.2.1 Responsabilização
C.2.2 Expertise em IA
C.2.5 Justiça
A aplicação inadequada de sistemas de IA para a tomada de decisões automatizadas pode ser injusta
para pessoas ou grupos de pessoas.
C.2.6 Manutenibilidade
C.2.7 Privacidade
O mau uso ou a divulgação de dados pessoais e sensíveis (por exemplo, registos de saúde) podem
trazer efeitos prejudiciais para os sujeitos de dados.
C.2.8 Robustez
Projeto em Consulta Nacional
C.2.10 Segurança
A transparência está relacionada tanto às características de uma organização que opera sistemas
de IA quanto a esses próprios sistemas. A explicabilidade refere-se a explicações de fatores importantes
que influenciam os resultados do sistema de IA que são fornecidos às partes interessadas de uma
forma compreensível para os seres humanos.
A incapacidade de fornecer informações adequadas às partes interessadas pode ser uma fonte
de risco (isto é, em termos de fidedignidade e responsabilização da organização).
O nível de automação pode ter um impacto em várias áreas de preocupação, como segurança física,
justiça ou segurança.
A qualidade dos dados usados para ML e o processo usado para coletar dados podem ser fontes
de risco, pois podem impactar objetivos como segurança e robustez (por exemplo, devido a problemas
na qualidade ou envenenamento de dados).
As fontes de risco podem estar relacionadas à tecnologia menos madura devido a fatores desconhecidos
(por exemplo, limitações de sistema e condições limítrofes, desvio de desempenho), mas também
devido à tecnologia mais madura devido à complacência tecnológica.
Anexo D
(informativo)
D.1 Geral
Este sistema de gestão é aplicável a qualquer organização que desenvolva, forneça ou use produtos
ou serviços que utilizem sistemas de IA. Portanto, é potencialmente aplicável a uma grande variedade
de produtos e serviços, em diferentes setores, que estão sujeitos a obrigações, boas práticas,
expectativas ou compromisso contratual direcionado às partes interessadas. São exemplos de setores:
— saúde;
— defesa;
— transportes;
— finanças;
— emprego;
— energia.
Vários objetivos organizacionais (ver Anexo C para possíveis objetivos) podem ser considerados
para o desenvolvimento e uso responsáveis de sistemas de IA. Este documento fornece requisitos
e orientações a serem considerados a partir de uma visão específica da tecnologia de IA. Para vários
dos objetivos potenciais, existem normas genéricas ou setoriais específicas de sistema de gestão.
Essas normas de sistema de gestão consideram o objetivo geralmente de um ponto de vista neutro em
tecnologia, enquanto o sistema de gestão de IA fornece considerações específicas de tecnologia de IA.
Os sistemas de IA consistem não apenas em componentes que usam tecnologia de IA, mas podem
usar uma variedade de tecnologias e componentes. O desenvolvimento e o uso responsáveis
de sistemas de IA, portanto, não requerem que apenas considerações específicas de IA sejam
consieradas, mas que o sistema seja considerado como um todo com todas as tecnologias
e componentes que são utilizados. Mesmo para a parte específica da tecnologia de IA, convém que
outros aspectos, além de considerações específicas de IA, sejam considerados. Por exemplo, como
a IA é uma tecnologia de processamento de informações, a segurança da informação se aplica a ela.
Convém que objetivos como segurança física, segurança, privacidade e impacto ambiental sejam
gerenciados de forma holística e não separadamente para a IA e os outros componentes do sistema.
A integração do sistema de gestão de IA com normas de sistema de gestão genéricas ou específicas
de setor para tópicos relevantes é, portanto, essencial para o desenvolvimento e uso responsáveis
de sistemas de IA.
segurança, privacidade, qualidade, respectivamente tópicos tratados nas ABNT NBR ISO/IEC 27001,
ABNT NBR ISO/IEC 27701 e ABNT NBR ISO 9001.
Ao fornecer, usar ou desenvolver sistemas de IA, as seguintes normas genéricas de sistema de gestão,
mas não limitadas a elas, são potencialmente relevantes:
Projeto em Consulta Nacional
— ABNT NBR ISO/IEC 27001: na maioria dos contextos, a segurança é fundamental para atingir
os objetivos da organização com o sistema de IA. A maneira como uma organização persegue
os objetivos de segurança depende de seu contexto e de suas próprias políticas. Se uma
organização identificar a necessidade de implementar um sistema de gestão de IA e abordar
os objetivos de segurança de forma completa e sistemática, ela também pode considerar
a implementação de um sistema de gestão de segurança da informação em conformidade com
a ABNT NBR ISO/IEC 27001. Como tanto a ABNT NBR ISO/IEC 27001 quanto os sistemas
de gestão de IA têm estruturas semelhantes, seu uso integrado é facilitado e de grande benefício
para a organização. Nesse caso, a maneira de implementar controles que (parcialmente)
se relacionam com a segurança da informação neste documento (ver B.6.1.2) pode ser integrada
com a implementação da ABNT NBR ISO/IEC 27001 pela organização.
— ABNT NBR ISO 9001: para muitas organizações, a conformidade com a ABNT NBR ISO 9001
é um sinal fundamental de que elas estão orientadas para o cliente com uma preocupação
genuína de eficácia interna. Uma avaliação de conformidade independente para
a ABNT NBR ISO 9001 facilita os negócios em todas as organizações e inspira a confiança
do cliente em produtos e serviços. O nível de confiança do cliente pode ser altamente reforçado
quando um sistema de gestão de IA é implementado em conjunto com a ABNT NBR ISO 9001,
quando tecnologias de IA estão envolvidas. O sistema de gestão de IA pode ser complementar
aos requisitos da ABNT NBR ISO 9001 (gestão de riscos, desenvolvimento de software,
coerência da cadeia de suprimentos etc.) para ajudar a organização a atingir seus objetivos.
Além das normas genéricas de sistema de gestão mencionados acima, um sistema de gestão de IA
também pode ser usado em conjunto com um sistema de gestão dedicado a um setor. Por exemplo,
tanto a ABNT NBR ISO 22000 quanto um sistema de gestão de IA são relevantes para sistemas
de IA que são usados para produção, preparação e logística de alimentos. Outro exemplo
é a ABNT NBR ISO 13485. A implementação de um sistema de gestão de IA pode suportar requisitos
relacionados ao software de dispositivos médicos na ABNT NBR ISO 13485 ou requisitos de outras
normas do setor médico, como a ABNT NBR IEC 62304.
Bibliografia
[3] ISO 9241-210, Ergonomics of human-system interaction – Part 210: Human-centred design for
interactive systems
[4] ABNT NBR ISO 13485, Produtos para saúde – Sistemas de gestão da qualidade – Requisitos
para fins regulamentares
[5] ABNT NBR ISO 22000, Sistemas de gestão de segurança de alimentos - Requisitos para qualquer
organização na cadeia produtiva de alimentos
[6] ABNT NBR IEC 62304, Software de dispositivo médico – Processo do ciclo de vida do software
[7] ISO/IEC Guide 51, Safety aspects – Guidelines for their inclusion in standards
[9] ISO/IEC 5259 (all parts2)), Data quality for analytics and Machine Learning (ML)
[10] ISO/IEC 5338, Information technology – Artificial intelligence – AI system life cycle process
[11] ABNT NBR ISO/IEC 17065, Avaliação da conformidade – Requisitos para organismos
de certificação de produtos, processos e serviços
[12] ISO/IEC 19944-1, Cloud computing and distributed platforms ─ Data flow, data categories and
data use – Part 1: Fundamentals
[13] ISO/IEC 23053, Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML)
[14] ABNT NBR ISO/IEC 23894, Tecnologia da informação – Inteligência artificial – Orientações sobre
gestão de riscos
[15] ABNT ISO/IEC TR 24027, Tecnologia da informação – Inteligência artificial (IA) – Viés em sistemas
de IA e tomada de decisão auxiliada por IA
[16] ISO/IEC TR 24029-1, Artificial Intelligence (AI) – Assessment of the robustness of neural networks
– Part 1: Overview
[17] ISO/IEC TR 24368, Information technology – Artificial intelligence – Overview of ethical and
societal concerns
[18] ISO/IEC 25024, Systems and software engineering – Systems and software Quality Requirements
and Evaluation (SQuaRE) – Measurement of data quality
[19] ISO/IEC 25059, Software engineering – Systems and software Quality Requirements and
Evaluation (SQuaRE) – Quality model for AI systems
[21] ABNT NBR ISO/IEC 27701, Técnicas de segurança – Extensão da ABNT NBR ISO/IEC 27001
e ABNT NBR ISO/IEC 27002 para gestão da privacidade da informação – Requisitos e diretrizes
[22] ABNT NBR ISO/IEC 27001, Segurança da informação, segurança cibernética e proteção
à privacidade – Sistemas de gestão da segurança da informação – Requisitos
[23] ABNT NBR ISO/IEC 29100, Tecnologia da informação – Técnicas de segurança – Estrutura
de Privacidade
[26] ABNT NBR ISO/IEC 38500:2018, Tecnologia da informação - Governança da TI para a organização
[28] Lifecycle D.D.I. 3.3, 2020-04-15. Data Documentation Initiative (DDI) Alliance. [visualizado
em 2022-02-19]. Disponível em: https://ddialliance.org/Specification/DDI-Lifecycle/3.3/
[29] Risk Framework N.I.S.T.-A.I. 1.0, 2023-01-26. National Institute of Technology (NIST) [visualizado
em 2023-04-17] https://www.nist.gov/itl/ai-risk-management-framework