Machine Translated by Google

AI e Ética (2021) 1:273–281 https://

doi.org/10.1007/s43681-020-00034-z

PESQUISA ORIGINAL

Responsabilidade moral por produtos projetados computacionalmente

David M. Douglas1 · David Howard2 · Justine Lacey1

Recebido: 18 de setembro de 2020 / Aceito: 3 de dezembro de 2020 / Publicado online: 20 de janeiro de 2021
© O(s) Autor(es) 2021

Abstrato
Sistemas de projeto computacional (como aqueles que usam algoritmos evolucionários) podem criar projetos para uma variedade de
produtos físicos. A introdução desses sistemas no processo de design corre o risco de criar uma 'lacuna de responsabilidade' por falhas
nos produtos que são usados para criar, pois os designers humanos podem não mais acreditar que são totalmente responsáveis por eles.
Respondemos a esse problema distinguindo entre responsabilidade causal e responsabilidade por capacidade (a capacidade de ser
moralmente responsável pelas ações) para criar projetos de produtos para argumentar que, embora os sistemas de projeto computacional
e os designers humanos sejam casualmente responsáveis pela criação de projetos de produtos, os designers humanos que usam esses
sistemas e os desenvolvedores que os criam são responsáveis por tais projetos. Mostramos que não há lacuna de responsabilidade para
produtos projetados usando sistemas de design computacional comparando diferentes contas de responsabilidade moral para robôs e IA
(instrumentalismo, ética de máquina e responsabilidade híbrida). Argumentamos que todas essas três explicações de responsabilidade
moral por sistemas de IA apoiam a conclusão de que os designers de produtos que usam sistemas de design computacional e os
desenvolvedores desses sistemas são moralmente responsáveis por quaisquer falhas ou falhas nos produtos projetados por esses
sistemas. Concluímos mostrando como as responsabilidades de responsabilização e culpabilização devem ser atribuídas entre os
designers de produto, os desenvolvedores dos sistemas de design computacional.

Palavras -chave Design computacional · Responsabilidade moral · Ética da máquina · Design generativo · Design paramétrico · Inteligência
artificial · Algoritmos evolutivos

1. Introdução cria novas possibilidades para projetar e produzir produtos físicos

sem necessariamente envolver designers ou fabricantes humanos
A inteligência artificial (IA) oferece muitas oportunidades para no processo. Uma das principais aplicações do projeto
automatizar os processos de fabricação. Embora os robôs computacional é a otimização de topologia, onde os elementos
industriais já tenham auxiliado ou substituído trabalhadores são removidos de um projeto para otimizá-lo em relação a
humanos em uma variedade de tarefas de fabricação, a IA é cada determinados critérios (como redução de peso), mantendo outras
vez mais empregada no design e desenvolvimento de produtos. características (como resistência) [35]. Métodos de otimização de
Esta aplicação da IA tem vários nomes, incluindo design topologia e impressão 3D têm sido aplicados para projetar
computacional, design generativo e design paramétrico [4]. componentes de aeronaves e peças de automóveis que são
Combinando design computacional e impressão 3D (ou manufatura aditiva)
consideravelmente mais leves do que as peças existentes com resistência equiva
O design computacional é uma aplicação da IA que atualmente
está sub-representada na literatura de ética da IA. Substituir ou
* David M. Douglas
aumentar designers humanos por design computacional desafia
David.Douglas@csiro.au
nossas noções existentes de responsabilidade pelo design.
David Howard
Embora possa parecer simples que as responsabilidades dos
David.Howard@data61.csiro.au
projetistas humanos não sejam alteradas se eles usarem o projeto
Justine Lacey
computacional, essa conclusão não deve ser aceita
Justine.Lacey@csiro.au
automaticamente. A questão da responsabilidade (em termos de
1 atribuição de autoria) por projetos criados por sistemas de IA já foi
Plataforma de Ciência do Futuro da Inovação Responsável, CSIRO,
Brisbane, Austrália levantada no contexto da arte gerada por computador [11, 24, 31].
2 Avanços em design computacional e
Grupo de Robótica e Sistemas Autônomos, CSIRO,
Brisbane, Austrália

Vol.:(0123456789) 1 3
Machine Translated by Google
274
a utilização dos produtos criados com esta tecnologia têm o potencial de
criar um impacto social significativo, tanto positivo como não [32]. Isso
aguçou nosso foco na natureza da responsabilidade no próprio processo de
ciência, tecnologia e inovação [29], e levou a questões sobre novas
distribuições de responsabilidade, particularmente no caso de falha de
sistema ou projeto [10]. A responsabilidade pelo resultado da operação de
uma máquina geralmente é atribuída ao seu operador se a máquina
funcionar conforme o esperado, ou ao seu fabricante se a máquina
apresentar mau funcionamento [23]. Da mesma forma, falhas de design em
uma máquina são atribuídas a seus projetistas.
O design computacional perturba essas normas estabelecidas, substituindo
o papel do designer humano na tomada de decisões sobre aspectos do
design. Essa incerteza cria o risco de que os projetistas que usam esses
sistemas acreditem que não são totalmente responsáveis pelos produtos
que criam [17].
Os projetistas podem ver o próprio sistema computacional como tendo
responsabilidade total ou mesmo parcial pelos produtos projetados.
Essa incerteza pode levar à crença de que nenhuma pessoa específica é
responsável pelo projeto, criando uma 'lacuna de responsabilidade' [23].
Esclarecer se os usuários de um sistema de projeto computacional, os
desenvolvedores do sistema ou o próprio sistema são responsáveis pelos
produtos criados usando essa abordagem removerá essa incerteza.
Nosso foco aqui é a responsabilidade moral que diz respeito se alguém
deve receber elogios ou condenação moral por sua ação ou inação [12].
Questões de responsabilidade legal (como responsabilidade) por produtos
projetados computacionalmente estão além do nosso escopo.
Este artigo começa com uma visão geral do projeto computacional e
descreve um método (algoritmos evolutivos) em detalhes. Em seguida,
descreve como as principais posições sobre responsabilidade pela saída de
sistemas de IA (instrumentalismo, ética de máquina e responsabilidade
híbrida) convergem para atribuir responsabilidade moral aos usuários
humanos e desenvolvedores de sistemas de design computacional. Portanto,
nenhuma lacuna de responsabilidade existe se os sistemas de design
computacional forem usados para criar produtos físicos. Além disso, este
artigo segue explicando como as responsabilidades de responsabilização e
culpabilização por falhas de design nos produtos criados usando design
computacional podem ser atribuídas entre os usuários e desenvolvedores
desses sistemas, como sistemas de design computacional.
2 Projeto computacional,
paramétrico e generativo
O design de produto tradicionalmente envolvia desenhar esboços e planos
detalhados de conceitos de design em papel e criar modelos físicos ou
protótipos que passam por muitas iterações até que o designer esteja
satisfeito. O desenho assistido por computador (CAD) (ou desenho digital)
introduziu o computador
13
IA e Ética (2021) 1:273-281
tecnologia no processo de projeto, seja como um substituto para o bloco
de desenho ou prancheta do projetista, ou como um método de simulação
das características físicas dos projetos antes de serem fisicamente criados.
Em termos gerais, o design computacional envolve a tecnologia de
computador auxiliando ou substituindo designers humanos na criação e
modificação de conceitos de design.
No contexto da arquitetura, Caetano et al. [4] descrevem o projeto
computacional como um processo de projeto que aproveita a computação
através da automatização de procedimentos de projeto, realizando tarefas
de projeto em paralelo, adicionando e refletindo mudanças de projeto
rapidamente em representações do projeto e usando feedback automatizado
para auxiliar os projetistas em processos de busca de forma. . Essas
características também se aplicam ao design computacional em outros
contextos, como arte ou design de produto.
Formas específicas de projeto computacional são o projeto paramétrico
e o projeto generativo. O design paramétrico usa parâmetros fisicamente
significativos, geralmente fornecidos por um especialista no domínio. Variar
esses parâmetros dentro de intervalos razoáveis (definidos por especialistas)
cria novos projetos em um processo comparativamente restrito. Projetos
paramétricos têm a vantagem de serem compreensíveis por humanos. O
significado das características do projeto pode ser obtido a partir do exame
dos parâmetros finais otimizados, pois eles têm significado humano, como
a largura, que permite aos projetistas humanos conceituar as extensões do
espaço de projeto paramétrico e operar efetivamente dentro dele.
Os parâmetros podem ser variados interativamente à mão, e o software de
design moderno reflete as mudanças de parâmetro instantaneamente em
uma visualização do design para permitir a experimentação.
Muitos pacotes de design também vêm com otimizadores paramétricos
embutidos, que operam em uma representação de software do design (uma
sequência de números com um número por parâmetro de design) e são
executados sem entrada humana para maximizar uma ou mais funções de
ajuste em várias iterações, que calcula quão bem o projeto cumpre o
propósito pretendido [19]. Como esses otimizadores são guiados apenas
em alto nível por metas de desempenho definidas por humanos, eles têm
alguma capacidade de fornecer soluções surpreendentes e não intuitivas
(combinações de parâmetros), embora dentro de um design paramétrico
restrito
espaço.
O design generativo gera uma infinidade de soluções em várias iterações.
Ao contrário dos projetos paramétricos, há um nível de indireção entre a
representação do software do projeto (a sequência numérica) e a
complexidade do projeto final. O design generativo normalmente aproveita
medidas complexas de geração de ity, incluindo simetrias, repetição e
escala, para produzir designs complexos a partir de uma sequência de
números comparativamente pequena. Projetos generativos fornecem
projetos mais complexos e intrincados com uma sequência de números
menor, e a sequência não precisa necessariamente crescer se for necessário
um aumento na complexidade do projeto. Ao contrário do design paramétrico,
esses números não têm significado físico - eles podem, por exemplo, ser os
pesos de uma rede neural que é
Machine Translated by Google
IA e Ética (2021) 1:273-281
executar para produzir uma geometria intrincada [33]. Outras
implementações incluem grafos e gramáticas de formas [20].
Espaços de design generativos são muitas vezes pouco intuitivos
para os designers humanos, necessitando do uso de otimização
computacional para encontrar bons designs. O design generativo
moderno é implementado em software e executado em paralelo em
computadores. No design generativo, os usuários inserem algumas
metas de design de alto nível (por exemplo, uma função de adequação)
e o sistema tenta gerar designs que atendam a todas essas metas da
melhor maneira possível (maximizar a adequação em todos os
objetivos). Por causa da relação entre a sequência numérica e o projeto
final, e a falta de parâmetros fisicamente aterrados, o processo de
projeto é muito mais livre, com o algoritmo buscando um espaço mais
amplo do que os métodos de projeto paramétrico.
3 Algoritmos evolutivos em design
Algoritmos evolutivos são uma das principais abordagens para
aprendizado de máquina [8]. Como otimizadores de caixa preta, eles
são populares para problemas de design que podem ser de alta
dimensão, multimodais ou sem informações diretas de gradiente. Isso
é particularmente verdadeiro para representações generativas.
Algoritmos evolutivos aplicam um modelo abstrato de evolução para
encontrar soluções para problemas complexos de otimização [30]. Os
algoritmos operam dentro de um espaço de busca definido para
encontrar soluções que atendam a todos os requisitos especificados ou
o maior número possível deles [30].
Exemplos bem-sucedidos de design evolutivo incluem projetar
antenas de naves espaciais [22], elementos estruturais de projetos de
construção [19] e até robôs [3]. Esses projetos são muitas vezes não
convencionais, pois “não são limitados por convenções, considerações
estéticas ou preferências não fundamentadas por simetria” [9].
Embora um relato completo de como os algoritmos evolucionários
funcionam esteja além do escopo deste artigo, aqui apresentamos um
esboço geral dos estágios que esses algoritmos realizam: inicialização,
avaliação, seleção, variação e substituição [9, 19].
O estágio de inicialização cria uma população onde cada membro é
um valor binário ou numérico escolhido aleatoriamente ou um conjunto
de valores que codifica uma possível solução para o problema de
projeto. Todos esses valores devem permanecer dentro do espaço de
pesquisa definido. O valor do membro é chamado de genótipo, enquanto
a solução codificada que ele representa é seu fenótipo [9].
A etapa de avaliação usa uma função de aptidão que determina a
adequação de genótipos individuais como soluções para o objetivo
pretendido. Se um ou mais membros têm um resultado de função de
adequação que atende aos requisitos da solução, ou se um certo
número de iterações do algoritmo ocorreu, o genótipo com a função de
adequação mais alta é convertido em seu fenótipo, que é a solução do
problema. O algoritmo então termina. No entanto, se nenhum dos
membros apresentar o
275
valor requerido para a função ftness ou se o número máximo de
iterações ainda não foi alcançado, o algoritmo continua no estágio de
seleção.
A etapa de seleção escolhe os membros da população para usar
como base para a criação de novos membros. Os membros escolhidos,
chamados pais, geralmente terão um resultado de função de alta ftness,
embora alguns membros também possam ser escolhidos aleatoriamente
para garantir que alguma variedade permaneça na população [9]. O
algoritmo agora avança para o estágio de variação, onde novos
membros são criados modificando os membros pai. Essa modificação
ocorre via recombinação e
mutação. A recombinação mescla dados de dois membros pais para
produzir um ou mais genótipos filhos [9]. Uma mutação é uma mudança
aleatória em um genótipo. Mutação e recombinação podem ser usadas
isoladamente ou em conjunto para produzir novos membros.
O estágio de substituição envolve remover parte ou toda a população
existente com os novos membros criados no estágio de variação. Se
apenas alguns dos membros existentes forem substituídos, a
sobrevivência dos membros existentes é determinada por alguma forma
de seleção ambiental, que geralmente envolve a remoção dos membros
com as funções de menor aptidão. Uma vez que a população tenha
sido atualizada, o algoritmo retorna ao estágio de avaliação e continua
novamente até completar um determinado número de iterações ou
encontrar um genótipo com a função de adequação necessária. O
genótipo e o fenótipo correspondente podem ser considerados a decisão
tomada pelo algoritmo evolutivo para resolver o problema que lhe foi
dado.
A partir desta descrição de algoritmos evolutivos, já podemos
identificar dois pontos onde o design humano afeta a saída do sistema:
• A seleção de representação e limites associados
• A defnição da função ftness.
À medida que a representação define o espaço de projeto acessível,
ela também afeta os tipos de projetos (por exemplo, geometrias) e o
nível de adequação que pode ser alcançado por um determinado
algoritmo evolutivo. Da mesma forma, se a função de adequação
(equações matemáticas que "pontuam" cada projeto) não capturam o
objetivo final pretendido, os projetos finais não serão adequados ao propósito.
Os projetos são frequentemente simulados para avaliar a adequação,
e a simulação física fornece uma abstração da realidade que pode ser
informativa, barata e fácil de trabalhar. No entanto, a simulação não
modela a totalidade da física, e o descompasso potencial entre a
simulação e o ambiente físico é a 'lacuna da realidade' [34], significando
que o desempenho no projeto simulado e físico é notavelmente
diferente. Resultados inesperados e indesejáveis de um algoritmo
evolutivo também podem ser devidos a 'funções de ftness mal
especificadas' (onde brechas na função de ftness permitem que
soluções não intencionais ou indesejáveis obtenham altos resultados)
13
Machine Translated by Google
276
ou 'depuração não intencional' (onde erros de software ou hardware
incorretamente fornecem resultados de alta adequação, enquanto o
fenótipo correspondente será ineficaz ou inadequado para uso) [21].
Qualquer tipo de erro pode significar que o projeto físico pode ser
perigosamente falho.
Dado que o desenvolvedor humano projeta e implementa esses
aspectos do sistema, parece claro que eles são responsáveis pelas
falhas no projeto físico resultante. No entanto, sistemas de projeto
computacional produzirão resultados novos, surpreendentes e
inesperados [21]. O sistema está criando algo novo, e falhas no
sistema que causam resultados inesperados só podem ser identificadas
depois que o sistema as produziu [21]. Ainda precisamos estabelecer
se o próprio sistema pode ter alguma responsabilidade moral pelas
soluções que produz, ou se essa responsabilidade só pode ser
assumida por humanos associados a ele de alguma forma.
4 Responsabilidade moral e design
computacional
A responsabilidade moral por produtos projetados computacionalmente
é um caso limitado da questão maior da IA ou da responsabilidade do
robô. Embora projetar produtos por meio do design computacional
não exija um robô ou meios automatizados de fabricação, ainda se
trata da questão de saber se os sistemas que produzem saídas sem
direção humana são moralmente responsáveis por essa saída.
A responsabilidade assume muitas formas [6, 36]. Como nossa
questão diz respeito ao problema de saber se um sistema de projeto
computacional pode ser considerado moralmente responsável pelos
produtos que projeta, vamos nos concentrar na capacidade de ser
moralmente responsável. Essa noção de responsabilidade pode ser
chamada de responsabilidade por capacidade [15]. Possuir capacidade
de responsabilidade significa que alguém (ou algo) tem a capacidade
de agir com responsabilidade e responsabilizar-se por suas ações.
Eles são capazes de “refletir sobre as consequências de suas ações,
formar intenções, escolher deliberadamente uma ação e agir de acordo comrelevantes
[36]. A responsabilidade pela capacidade também pode ser descrita
como o cumprimento de duas condições: a condição de controle de
ter a capacidade de controlar suas próprias ações e a condição
epistêmica de estar ciente de suas ações e suas consequências [5].
A condição de controle destaca o significado da responsabilidade
causal, que é a atribuição de ações, eventos e resultados a pessoas,
objetos ou forças da natureza [15]. A responsabilidade por capacidade
também cria a possibilidade de atribuir outras formas de
responsabilidade, como responsabilização e culpabilização, ao seu
possuidor.
A base usual para atribuir responsabilidade moral pelo que uma
máquina faz é a responsabilidade causal: quanto menos controle o
usuário tem sobre a máquina, menos causalmente responsável ele é
pelas ações causadas por suas decisões. Sistemas de aprendizado
de máquina, como os usados em projetos computacionais,
13
IA e Ética (2021) 1:273-281
usar métodos de processamento que os próprios usuários ou
desenvolvedores não incorporaram nele [23]. A saída produzida por
esses sistemas envolve novas regras que o próprio sistema
desenvolveu a partir da análise de dados de entrada, ou por meio de
processos que incorporam elementos aleatórios, como algoritmos
evolutivos. Como resultado, os desenvolvedores têm menos influência
sobre sua saída do que sobre um sistema em que as regras de
processamento são codificadas pelos desenvolvedores e onde a
aleatoriedade não desempenha nenhum papel no processo algorítmico.
Essa perda de influência sobre a tomada de decisão do sistema cria
incerteza sobre se o desenvolvedor cumpre a condição epistêmica de
responsabilidade de capacidade para a saída da máquina. Esta
incerteza, combinada com a falta de uma alternativa clara de atribuição
de responsabilidade, cria a possibilidade de uma lacuna de
responsabilidade onde ninguém é responsável pela saída do sistema
[23]. Abordar a lacuna de responsabilidade requer uma explicação de
como a responsabilidade moral (ou seja, responsabilidade de
capacidade) deve ser atribuída quando a responsabilidade causal pela
saída de um sistema de IA é incerta.
Gunkel [13] descreve três respostas possíveis para a lacuna de
responsabilidade: instrumentalismo, ética da máquina e responsabilidade
híbrida. Cada resposta resolve a lacuna propondo uma distribuição
diferente de responsabilidade entre os desenvolvedores, usuários e o
sistema. O instrumentalismo coloca a responsabilidade da capacidade
apenas nos humanos envolvidos no sistema. Em contraste, a ética da
máquina coloca a responsabilidade da capacidade (de uma espécie)
no sistema, enquanto a responsabilidade híbrida distribui a
responsabilidade da capacidade entre os humanos e o sistema.
O instrumentalismo nega que exista uma lacuna de responsabilidade:
a responsabilidade pelo sistema e sua produção recai sobre as
pessoas associadas a ele. Ele vê robôs e IA como produtos como
qualquer outro e, portanto, não deve ser tratado de maneira diferente
em relação à responsabilidade moral. Para sistemas de projeto
computacional, essa visão nos apresenta uma resposta clara: somente
as pessoas associadas ao sistema possuem responsabilidade de
capacidade. As dificuldades restantes são determinar as pessoas
ela” associadas ao sistema e como as diferentes formas de
responsabilidade devem ser distribuídas entre elas. Se aceitarmos
que os produtos projetados computacionalmente são como quaisquer
outros, podemos usar as mesmas normas para atribuir responsabilidade
e culpabilidade que usaríamos para produtos projetados por humanos
como ponto de partida para determinar como atribuí-los aqui.
A ética da máquina exige que a tomada de decisões éticas seja
incorporada em robôs e sistemas de IA [1, 3]. Essa capacidade de
fazer avaliações éticas permitiria que tais sistemas agissem com
responsabilidade [2]. Esta é uma forma pragmática de atribuição de
responsabilidade que se assemelha à personalidade jurídica atribuída
às empresas [13]. Como as avaliações éticas são feitas pelo sistema
depende se suas avaliações são restringidas pelo desenvolvedor para
evitar a ocorrência de resultados prejudiciais, ou se são programadas
com uma teoria ética
Machine Translated by Google
IA e Ética (2021) 1:273-281
e métodos para usar essa teoria na tomada de decisão [25].
Estes podem ser chamados de agentes éticos implícitos e explícitos,
respectivamente [25]. Os sistemas de projeto computacional são
agentes éticos implícitos, pois não são programados com teorias e
métodos éticos de tomada de decisão ética, mas sim fazem
avaliações dentro de faixas estabelecidas pelo desenvolvedor que,
idealmente, os impedirão de produzir saídas com consequências
danosas. Quando o sistema é um agente ético implícito, a ética da
máquina fornece uma resposta semelhante àquela dada pelo
instrumentalismo: os desenvolvedores têm responsabilidade de
capacidade pela saída de sistemas de projeto computacional.
A responsabilidade híbrida afirma que alguma combinação do
sistema e as pessoas associadas a ele têm responsabilidade [13].
Existem vários relatos de responsabilidade híbrida entre pessoas e
artefatos. O relato de Hanson [14] da responsabilidade conjunta
iguala a responsabilidade causal com a responsabilidade moral: o
'sujeito' responsável é a combinação de pessoas e objetos físicos
necessários para realizar uma ação. Rejeita a alegação de que
apenas pessoas podem ter agência e, em vez disso, baseia-se em
relatos de agência estendida que incorporam tanto as pessoas
quanto as coisas que elas usam para realizar ações (como
ferramentas, máquinas ou mesmo animais) como sendo o assunto
apropriado para a responsabilidade moral. [14]. A agência estendida,
portanto, situa a responsabilidade da capacidade na coleção de
pessoas e coisas que são causalmente responsáveis por uma ação.
O relato de Johnson [18] da responsabilidade híbrida descreve
três entidades relevantes para as ações de um sistema de
computador: os usuários humanos, os designers humanos e o próprio
sistema computacional. Assim como no relato de Hanson, todos os
três componentes compartilham a responsabilidade causal pelas
ações do sistema: o usuário iniciou a ação, o sistema a executou e o
desenvolvedor deu ao sistema a capacidade de fazê-lo [18]. No
entanto, Johnson [18] argumenta que os sistemas de computador
carecem de agência moral, pois não têm estados mentais: eles
falham em cumprir a condição epistêmica para responsabilidade de
capacidade, pois não estão cientes de suas ações ou de suas
consequências. Eles podem ter intencionalidade como resultado de
sua programação (no sentido de que podem agir sem intervenção
humana imediata), mas essa intencionalidade reflete a dos usuários
e projetistas do sistema. Os sistemas de computador não têm
intenções independentes de seus desenvolvedores e usuários humanos [18].
Como resultado, o sistema não tem responsabilidade de capacidade.
A explicação de Johnson, portanto, aceita que a combinação de um
artefato e os humanos associados a ele é causalmente responsável
pelo que o artefato faz, mas rejeita a afirmação de que a coleção de
humanos e artefatos compartilha a responsabilidade de capacidade.
A preocupação de Gunkel [13] com a responsabilidade híbrida
centra-se em como a responsabilidade é dividida entre as entidades
envolvidas. As entidades da rede de responsabilidade podem
277
também negam que tenham qualquer responsabilidade, ou que o
resultado tenha sido tão complexo que nenhum papel humano ou
grupo de humanos desempenhando um papel seja responsável pelo
resultado. Embora esta seja uma questão importante, não significa
que a responsabilidade híbrida deva ser rejeitada. Os próprios
proponentes da responsabilidade híbrida enfatizaram esse ponto
como um argumento a favor dessa abordagem. Hanson [14]
argumenta que sistemas que incorporam aprendizado de máquina
podem se tornar tão complexos que determinar qual parte é
responsável por qualquer decisão é efetivamente impossível. No
entanto, isso não impede que a responsabilidade de capacidade seja
atribuída à combinação do sistema e seus usuários [14].
Para sistemas de projeto computacional, os relatos de Hanson e
John son concordam que a combinação dos humanos associados
ao sistema e o próprio sistema é causalmente responsável pelos
produtos que ele projeta. Enquanto eles diferem se o próprio sistema
de design compartilha algum grau de responsabilidade de capacidade,
ambos atribuem essa responsabilidade aos humanos associados a
ele. Embora isso resolva a lacuna de responsabilidade, coloca uma
nova ênfase na resolução do 'problema de muitas mãos' para
determinar como os vários tipos de responsabilidade moral devem
ser atribuídos quando vários humanos ou grupos contribuíram para
um resultado [27].
Este ponto é abordado na próxima seção.
5 responsabilidades morais de usuários e
desenvolvedores humanos
Para sistemas de design computacional, as três abordagens para
resolver a lacuna de responsabilidade da IA (instrumentalismo, ética
da máquina e responsabilidade híbrida) convergem para atribuir
responsabilidade de capacidade aos humanos associados ao
sistema. No entanto, como Gunkel [13] corretamente observa em
sua discussão sobre responsabilidade híbrida, ainda há a necessidade
de determinar quem entre esses usuários e desenvolvedores
humanos é responsável e por quê. A coleção de funções humanas
que compartilham a responsabilidade da capacidade pode ser
definida de várias maneiras. A responsabilidade por um sistema de
IA pode ser distribuída entre os desenvolvedores do sistema, os
usuários que inserem dados nele, aqueles que encomendaram seu
uso, os designers do hardware em que ele opera e assim por diante.
Hanson [14] admite que há “um ponto de retornos decrescentes” na
especificação dos elementos de responsabilidade de capacidade
associados a um sistema de IA, e que elementos constantes e
inconsequenciais (como gravidade e o modelo específico de um
computador, respectivamente) podem ser desconsiderado. O relato
de Johnson evita esse problema limitando sua discussão a três
entidades (usuários humanos, desenvolvedores humanos e o próprio
sistema computacional). Seguiremos Johnson em
13
Machine Translated by Google
278
destacando os usuários e desenvolvedores humanos como o foco
principal da responsabilidade de capacidade.1
Essa distinção entre usuários e desenvolvedores é justificada pelas
responsabilidades de papel que eles têm em sua associação com o
sistema. As responsabilidades do papel são os deveres que acompanham
os papéis sociais específicos [15]. Os usuários humanos do sistema de
design computacional o utilizam como uma ferramenta para atingir o
objetivo de criar novos designs de produtos. Os usuários, portanto, têm
o papel de designers de produtos humanos, o que introduz a expectativa
de que eles considerarão o propósito, as características físicas, os usos
potenciais e os riscos prováveis dos produtos que projetam. Os
desenvolvedores projetam e criam o sistema de projeto computacional
como um todo e os componentes do sistema especificamente projetados
e incorporados a ele.
Espera-se que eles considerem a funcionalidade e o desempenho do
software que criam e garantam que seja o mais livre de erros possível.
As responsabilidades do papel dos designers (como usuários) e
desenvolvedores também servem como base para o que eles são
responsáveis e culpados. Responsabilização é o requisito de alguém
com capacidade de responsabilidade para fornecer uma explicação ou
justificação para as ações pelas quais é causalmente responsável
quando houver a possibilidade de delito [36].
A responsabilização também pode servir como base para estabelecer a
culpabilidade. Para evitar ser censurável, a explicação fornecida pelos
responsáveis deve mostrar que não ocorreu nenhum delito, que eles não
estavam cientes do resultado potencial de suas ações (a condição de
conhecimento), que eles eram incapazes de agir de outra forma (a
condição de liberdade ), que não foram casualmente responsáveis, ou
que não tinham capacidade de responsabilidade [36].
Para designers de produtos humanos, as formas potenciais de
irregularidades são que o design é inadequado para o propósito
pretendido e que é desnecessariamente perigoso para seus usuários.
Para fins de responsabilidade pelo uso de sistemas de projeto
computacional, os problemas relevantes aqui são como garantir que o
projeto criado pelo sistema para o projetista humano seja seguro para
uso e adequado para o propósito. A criação de um design inadequado
para o propósito pode ser devido ao designer ter uma concepção
imprecisa ou confusa do propósito pretendido do produto, ou por cometer
erros na especificação dos materiais a serem usados para criá-lo.
Materiais inadequados e falhas de design também podem tornar o
produto projetado inseguro para uso. Se assumirmos que o designer, e
não o sistema, escolhe os materiais e os requisitos para o design criado,
então o designer está confiando no desenvolvedor criando o
1
Os fabricantes de produtos também podem ser considerados relevantes se forem
distintos dos usuários humanos do sistema. No entanto, os deveres de realizar o
processo de fabricação com sucesso e usar os materiais corretos que acompanham o
papel do fabricante permanecem inalterados com a introdução do projeto computacional.
13
IA e Ética (2021) 1:273-281
sistema de projeto computacional, garantindo que os produtos que ele
projeta sejam seguros. Isso pode ser alcançado incorporando os
requisitos e regulamentos de segurança que se aplicam a produtos
projetados por humanos no sistema de projeto computacional.
Noorman e Johnson [28] observam corretamente que os
desenvolvedores e usuários de sistemas robóticos e de IA impõem
restrições em suas possíveis saídas. Os usuários definem os requisitos
de projeto para os produtos que o sistema projetará. Os desenvolvedores
defnim o espaço de busca disponível para o sistema procurar por
projetos potenciais e defnir os parâmetros que ele usa para determinar
a adequação dos projetos potenciais. Os parâmetros mutáveis e as
relações entre eles são definidos pelos desenvolvedores de sistemas de
projeto paramétricos.
Essas restrições permitem que os projetos do sistema estejam dentro
das características de desempenho conhecidas dos materiais de
produção pretendidos do projeto selecionado. Conforme sugerido em
nossas discussões anteriores sobre instrumentalismo e ética da máquina,
os requisitos regulatórios para o tipo de produto a ser projetado também
podem ser definidos como restrições dentro do espaço de busca. Para
sistemas paramétricos, requisitos regulatórios (como tolerâncias de
resistência e peso, por exemplo) podem ser especificados como limites
para os parâmetros. O sistema rejeitaria projetos potenciais que
excedessem essas restrições como soluções inadequadas, da mesma
forma que rejeitaria outros projetos potenciais que não atendessem aos
requisitos definidos pelo usuário.
As formas potenciais de irregularidades são semelhantes para os
desenvolvedores: que sua criação seja inadequada, que cause danos
desnecessários ao seu usuário (através de danos a dados ou hardware,
por exemplo), ou por copiar injustamente o software desenvolvido por
terceiros sem permissão. Vamos nos concentrar no problema de que o
próprio sistema de projeto computacional é inadequado para o propósito:
ele não cria projetos que funcionam como esperado como produtos
físicos, como é previsto pelo sistema.
Historicamente, os desenvolvedores humanos relutam em aceitar a
responsabilidade pelos sistemas de computador. Nissenbaum [26]
descreve quatro dessas racionalizações: o problema de 'muitas mãos'
contribuindo para o sistema, a aceitação de que bugs sempre existirão
dentro de sistemas computacionais complexos, atribuindo a
responsabilidade causal pelos erros ao próprio sistema e não aos seus
desenvolvedores, e a própria rejeição de responsabilidade dos
desenvolvedores pelo software que eles criam. Para sistemas que
incorporam técnicas de aprendizado de máquina (como sistemas de
design computacional), de Laat [7] adiciona 'opacidade' a esta lista: a
falta de transparência na forma como o sistema produz saídas. Quatro
dessas racionalizações podem ser defensáveis para sistemas de projeto
computacional (como nosso foco está na responsabilidade moral e não
legal, não consideraremos a legitimidade de rejeitar a responsabilidade).
Sistemas de projeto computacional são softwares complexos que são
executados em plataformas complexas de software e hardware, cada
uma das quais pode conter
Machine Translated by Google
IA e Ética (2021) 1:273-281
erros que afetam o seu funcionamento. A depuração e o teste
ajudarão a identificar a origem dos erros e onde eles existem no
sistema, mesmo que não possam garantir que todos os erros sejam
conhecidos ou removidos. Cada resposta à lacuna de responsabilidade
reconhece a responsabilidade causal do sistema de projeto
computacional. O problema de opacidade dependerá da forma de
aprendizado de máquina usada dentro do sistema de projeto
computacional. Embora os resultados dos algoritmos evolutivos
sejam efetivamente imprevisíveis, os métodos pelos quais esses
resultados são determinados e avaliados são conhecidos dos
desenvolvedores. Isso inclui a função de adequação e simulação
usada para avaliar os genótipos gerados e como o fenótipo que
representa os designs de produtos físicos são representados como
genótipos. Para sistemas de projeto paramétrico, podem existir erros
potenciais na forma como a relação entre os diferentes parâmetros é
definida e na forma como os parâmetros são otimizados pelo sistema.
Nos casos em que os desenvolvedores são responsáveis, mas
não culpados pelo dano causado por seu sistema, cria-se a
responsabilidade de modificá-lo para evitar que tal dano ocorra no
futuro. Usar o design computacional é uma forma de experimentação.
Embora os desenvolvedores possam prever com um nível razoável
de confiança o intervalo de saídas possíveis do sistema, haverá
necessariamente alguma incerteza sobre a saída. O objetivo desses
sistemas é produzir soluções para problemas que são muito
complexos ou impraticáveis para serem resolvidos usando métodos
tradicionais onde a saída é (em princípio) previsível. O sistema de
projeto computacional é efetivamente um experimentador dentro dos
limites do espaço de busca definido para encontrar projetos possíveis.
As falhas que ele descobre através dos projetos que cria são contra-
exemplos às alegações dos desenvolvedores de terem representado
com precisão os materiais e as restrições físicas do sistema. A
correção dessas falhas reduzirá a lacuna de realidade entre a
simulação e a função de adequação e o contexto real em que o
projeto será usado. Embora eles não sejam culpados por essas
falhas se não tiverem sido descobertos ou previstos anteriormente,
os desenvolvedores de sistemas de design computacional têm a
obrigação de corrigir essas falhas em seus sistemas que são expostas
por qualquer design de produto defeituoso que o sistema
computacional cria.
Alguma incerteza sempre permanecerá com a saída de qualquer
sistema de aprendizado de máquina, independentemente das
restrições incorporadas a ele. Usuários mal-intencionados podem
manipular o sistema para produzir deliberadamente saídas prejudiciais. do produto e, se não houver lacuna de responsabilidade, quem é
O sistema pode usar interações imprevistas e não testadas em materiais que
moralmente responsável pelos produtos criados com a ajuda desses
causar falhas prejudiciais nos produtos que cria. Os projetos de
produtos podem cair em uma 'lacuna de realidade' entre a simulação
e o contexto de uso real do produto. O estabelecimento da causa
específica da falha no produto deve indicar se a falha se deveu a um
erro na definição das propriedades do espaço de busca, a um
problema no processo físico de fabricação ou a uma interação
inesperada entre os materiais e o projeto desenvolvido por métodos
computacionais.
279
A causa específica da falha determinará se os desenvolvedores
humanos, os usuários humanos ou o próprio sistema computacional
são culpados pela falha. Cada uma dessas partes humanas é
responsável por uma explicação de por que a falha ocorreu, e qual
parte é potencialmente culpável depende do tipo de falha. O
desenvolvedor é responsável por falhas decorrentes do design do
produto. O usuário é responsável por falhas resultantes da
especificação do produto e dos requisitos de projeto (ou seja, se ele
é adequado para o propósito). Suas explicações sobre o motivo pelo
qual o produto foi adulterado ou causado dano determina se eles são
culpados por esse dano (ou seja, se foram negligentes ao usar, criar
ou testar o sistema) ou se estava além do conhecimento esperado
de como o sistema opera e os materiais usados para criar o produto.
Por exemplo, o desenvolvedor não seria culpado por uma falha se
sua conta explicasse como ela é o resultado de problemas imprevistos
com a forma como o mundo físico é representado na simulação.
Então, aqui, encontramos uma solução para o problema de atribuir
responsabilidade moral a produtos projetados usando sistemas de
projeto computacional. A menos que a falha seja o resultado de uma
interação imprevista entre os materiais que compõem o produto e os
designs criados por meio de design computacional, os usuários ou
desenvolvedores humanos são totalmente responsáveis por falhas
no design do produto e no próprio produto.
Os usuários humanos são culpados como projetistas de produtos se
sua conta revelar que eles deveriam saber sobre os erros e riscos
potenciais nos parâmetros e funções de ajuste que eles definiram
para o sistema de projeto computacional usar. Se o relato dos
desenvolvedores sobre o que causou as falhas de projeto ou falhas
do produto revela negligência no projeto, desenvolvimento ou teste
do sistema, então os desenvolvedores também são culpados. Embora
os desenvolvedores não sejam culpados pelas falhas descobertas
pelo sistema de design computacional, eles têm a obrigação de
corrigir seus modelos para removê-los assim que forem revelados
usando o sistema.
6. Conclusão
Usar o design computacional para criar produtos físicos levanta duas
questões potenciais para a responsabilidade: empregar o design
computacional cria uma 'lacuna de responsabilidade' para o design
sistemas? ? Reconhecer as diferentes formas de responsabilidade
(particularmente a distinção entre responsabilidade causal e
responsabilidade por capacidade) e desenvolver o trabalho filosófico
existente sobre responsabilidade moral e sistemas de IA nos fornece
as ferramentas conceituais para lidar com esse problema.
Aqui, argumentamos que não há lacuna de responsabilidade ao
mostrar que os usuários humanos de sistemas de projeto
computacional e os desenvolvedores humanos desses sistemas são
13
Machine Translated by Google
280
moralmente responsáveis pelos projetos que esses sistemas produzem.
Essa responsabilidade moral inclui ser responsável por falhas de projeto
e falhas do produto, ser culpado por negligência no desenvolvimento do
sistema que causa falhas de projeto e falhas prejudiciais no produto e
ter a obrigação de corrigir falhas na forma como o sistema produz
projetos que não poderiam ser descobertos sem serem descobertos por
projetos defeituosos produzidos pelo sistema. Ao fazer isso, esperamos
demonstrar como a 'lacuna de responsabilidade' para produtos
projetados e feitos por robôs e sistemas de IA pode ser abordada
considerando como a responsabilidade é atribuída em aplicações
específicas dessas tecnologias.
Agradecimentos Esta pesquisa foi informada por uma série de entrevistas com
profissionais envolvidos no projeto computacional de produtos, conforme aprovado
pelo Comitê de Ética em Pesquisa em Seres Humanos de Ciências Sociais e
Interdisciplinares do CSIRO, de acordo com a diretriz especificada na Declaração
Nacional de Conduta Ética (Australiana) em Pesquisa Humana. Os autores
agradecem a esses participantes por compartilhar generosamente seus insights e
tempo para esta pesquisa. Agradecemos também aos revisores anônimos por seus
úteis comentários e sugestões.
Contribuições dos autores Todos os autores contribuíram igualmente para o
desenvolvimento do tema e da argumentação do artigo. DMD escreveu o texto, com
contribuições de DH e JL.
Financiamento Esta pesquisa foi financiada pela CSIRO's Responsible Innovation
Future Science Platform.
Disponibilidade de dados e materiais Não aplicável.
Conformidade com os padrões éticos
Conflito de interesse Em nome de todos os autores, o autor correspondente declara
que não há conflito de interesse.
Disponibilidade do código Não aplicável.
Acesso Aberto Este artigo está licenciado sob uma Licença Creative Commons
Atribuição 4.0 Internacional, que permite o uso, compartilhamento, adaptação,
distribuição e reprodução em qualquer meio ou formato, desde que você dê os
devidos créditos ao(s) autor(es) original(is) e ao fonte, fornecer um link para a licença
Creative Commons e indicar se foram feitas alterações. As imagens ou outro material
de terceiros neste artigo estão incluídos na licença Creative Commons do artigo, a
menos que indicado de outra forma em uma linha de crédito para o material. Se o
material não estiver incluído
a licença Creative Commons do artigo e seu uso pretendido não for permitido por
regulamentação legal ou exceder o uso permitido, você precisará obter permissão
diretamente do detentor dos direitos autorais. Para ver uma cópia desta licença,
visite http://creativecommons.org/licenses/by/4.0/.
Referências
1. Allen, C., Wallach, W., Smit, I.: Por que a Ética da Máquina? In: Ander son, M.,
Anderson, SL (eds.) Machine Ethics, pp. 51–61. Cam bridge University Press,
Cambridge (2011)
13
IA e Ética (2021) 1:273-281
2. Anderson, M., Anderson, SL (eds.): Machine Ethics. Cambridge
University Press, Cambridge (2011)
3. Bongard, JC: Robótica evolutiva. Comum. ACM 56(8), 74-83 (2013). https://
doi.org/10.1145/2493883
4. Caetano, I., Santos, L., Leitão, A.: Projeto computacional em arquitetura:
definindo projeto paramétrico, generativo e algorítmico. Frente. Arquiteto. Res.
9(2), 287-300 (2020). https://doi.
org/10.1016/j.foar.2019.12.008
5. Coeckelbergh, M.: Ética da IA. The MIT Press, Cambridge (2020)
6. Davis, M.: “Ain't No One Here But Us Social Forces”: construindo a
responsabilidade profissional dos engenheiros. Sci. Eng. Ética 18(1), 13–34
(2012). https://doi.org/10.1007/s11948-010-9225-3
7. de Laat, PB: Tomada de decisão algorítmica baseada em aprendizado de
máquina de Big Data: a transparência pode restaurar a responsabilidade?
Philos. Tecnol. 31(4), 525-541 (2018). https://doi.org/10.1007/
s13347-017-0293-z
8. Domingos, P.: O Algoritmo Mestre. Pinguim, Londres (2015)
9. Eiben, AE, Smith, JE: Introdução à Computação Evolucionária, 2ª ed. Springer,
Berlim (2015)
10. Elish, MC: Zonas de deformação moral: contos de advertência na interação de
robôs humanos. Engajar Sci. Tecnol. Soc. 5, 40-60 (2019). https://doi.org/
10.17351/ests2019.260
11. Epstein, Z., Levine, S., Rand, DG, Rahwan, I.: Quem recebe crédito pela arte
gerada por IA? iScience 23(9), 101515 (2020). https://doi.
org/10.1016/j.isci.2020.101515
12. Eshleman, A.: Responsabilidade Moral. In: Zalta, EN (ed.) The Stanford
Encyclopedia of Philosophy (Edição de Inverno de 2016). https://
plato.stanford.edu/archives/win2016/entries/moral-respo
bilidade/ (2016). Acessado em 12 de janeiro de 2021
13. Gunkel, DJ: Cuidado com a lacuna: robótica responsável e o problema da
responsabilidade. Ética Inf. Tecnol. (2017). https://doi.
org/10.1007/s10676-017-9428-2
14. Hanson, FA: Além da bolsa de pele: sobre a responsabilidade moral das
agências estendidas. Ética Inf. Tecnol. 11(1), 91-99 (2009). https://doi.org/
10.1007/s10676-009-9184-z
15. Hart, HLA: Punição e Responsabilidade: Ensaios na Filosofia do Direito, 2ª ed.
Oxford University Press, Oxford (2008)
16. Heaven, D.: O designer mudando a forma como as aeronaves são construídas.
Futuro da BBC. https://www.bbc.com/future/article/20181129-the-ai-trans
formando-o-caminho-de-aviões-são-construídos (2018). Acessado em 8 de junho de 2020
17. Jackson, C.: Design generativo e ética de engenharia: onde está a interseção?
Insights do ciclo de vida. https://www.lifecycleinsigh
ts.com/generative-design-and-engineering-ethics-wheres-the-inter
seção/ (2019). Acessado em 23 de novembro de 2020
18. Johnson, DG: Sistemas de computador: entidades morais, mas não agentes
morais. Ética Inf. Tecnol. 8(4), 195-204 (2006). https://doi.
org/10.1007/s10676-006-9111-5
19. Kicinger, R., Arciszewski, T., de Jong, K.: computação evolutiva e projeto
estrutural: um levantamento do estado da arte.
Computar. Estrutura. 83, 1943-1978 (2005). https://doi.org/10.1016/j.
compstruc.2005.03.002
20. Knight, T., Stiny, G.: Fazendo gramáticas: da computação com formas à
computação com coisas. Des. Viga. 41, 8-28 (2015). https
://doi.org/10.1016/j.destud.2015.08.006
21. Lehman, J., Clune, J., Misevic, D., Adami, C., Altenberg, L., Beaulieu, J., et al.:
A surpreendente criatividade da evolução digital: uma coleção de anedotas da
evolução computação e comunidades de pesquisa de vida artificial. Artif. Vida
26, 274-306 (2020). https://doi.org/10.1162/artl_a_00319
22. Lohn, JD, Hornby, GS, Linden, DS: Uma antena evoluída para implantação na
missão de tecnologia espacial 5 da NASA. Em: O'Reilly, UM, Yu, T., Riolo, R.,
Worzel, B. (eds.) Teoria e Prática de Programação Genética II, pp. 301-315.
Springer, Boston (2005)
23. Matthias, A.: A lacuna de responsabilidade: atribuindo responsabilidade pelas
ações de autômatos de aprendizagem. Ética Inf. Tecnol. 6(3), 175-183 (2004).
https://doi.org/10.1007/s10676-004-3422-1
Machine Translated by Google
IA e Ética (2021) 1:273-281
24. McCormack, J., Giford, T., Hutchings, P.: Autonomia, autenticidade, autoria e
intenção na arte gerada por computador. In: Ekárt, A., Liapis, A., Castro Pena,
ML (eds.) Inteligência Computacional em Música, Som, Arte e Design.
EvoMUSART 2019, pp.
35-50. Springer, Cham (2019)
25. Moor, JH: A natureza, importância e dificuldade da ética da máquina. In:
Anderson, M., Anderson, SL (eds.) Machine Ethics, pp. 13–20. Cambridge
University Press, Cambridge (2011)
26. Nissenbaum, H.: Accountability in a Computerized Society. In: Friedman, B. (ed.)
Valores humanos e o design da tecnologia do computador, pp. 41-64.
Publicações CSLI e Cambridge University Press, Nova York (1997)
27. Noorman, M.: Computação e Responsabilidade Moral. In: Zalta, EN (ed.) The
Stanford Encyclopedia of Philosophy (Edição de primavera de 2018). https://
plato.stanford.edu/archives/spr2018/entri
es/computing-responsibility/ (2018). Acessado em 12 de janeiro de 2021
28. Noorman, M., Johnson, DG: Negociando Autonomia e Responsabilidade em
Robôs Militares. Ética Inf. Tecnol. 16(1), 51-62 (2014). https://doi.org/10.1007/
s10676-013-9335-0
29. Owen, R., Stilgoe, J., Macnaghten, P., Gorman, M., Fisher, E., Guston, D.: Uma
estrutura para inovação responsável. In: Owen, R., Bessant, J., Heintz, M.
(eds.) Inovação Responsável: Gerenciando a Emergência Responsável da
Ciência e Inovação na Sociedade, pp. 27-50. Wiley, Chichester (2013)
30. Renner, G., Ekárt, A.: Algoritmos genéticos em projeto auxiliado por computador.
Computar. Ajudado Des. 35(8), 709-726 (2003). https://doi.
org/10.1016/S0010-4485(03)00003-4
281
31. Samuelson, P.: AI autoria? Comum. ACM 63(7), 20-22 (2020). https://doi.org/
10.1145/3401718
32. Stahl, BC, Coeckelbergh, M.: Ética da robótica em saúde: rumo à pesquisa e
inovação responsáveis. Robô. Auton. Sistema 86, 152-161 (2016). https://
doi.org/10.1016/j.robot.2016.08.018
33. Stanley, KO: Redes de produção de padrões de composição: uma nova
abstração de desenvolvimento. Genet. Programa Evolutivo Mach. 8(2),
131-162 (2007). https://doi.org/10.1007/s10710-007-9028-8
34. Trefzer, MA, Tyrrell, AM: Evolvable Hardware: From Practice to Application.
Springer, Berlim (2015)
35. Tutum, CC, Vouga, E., Chockchowwat, S., Miikkulainen, R.: Design generativo
funcional: uma abordagem evolucionária da impressão 3D. Paper apresentado
na conferência de computação genética e evolutiva (GECCO '18), Kyoto,
Japão, 15 a 19 de junho de 2018
36. van de Poel, I.: A relação entre responsabilidade voltada para o futuro e para
trás. In: Vincent, NA, van de Poel, I., van den Hoven, J. (eds.) Moral
Responsibility, pp. 37-52. Springer, Dordrecht (2011)
Nota do editor Springer Nature permanece neutro em relação a reivindicações
jurisdicionais em mapas publicados e afiliações institucionais.
13