HAL cometeu assassinato?

(Esboo do artigo publicado no livro sobre HAL editado por D. G. Stork)

28 de Fevereiro de 1996
Daniel C. Dennett
O primeiro homicdio cometido por um rob data de 1981, de acordo com meus arquivos.
Tenho um recorte de jornal de 9/12/1981, do Philadelphia Inquirer (no confundir com o
National Enquirer) com a seguinte manchete:
Japo informa: Rob matou reparador
A histria no tinha precedentes: nas instalaes da Kawasaki Indstrias Pesadas, situadas
em Akashi, um rob em mau estado de funcionamento empurrou um reparador contra uma
mquina de serrilhar rodas-dentadas, e ele morreu esmagado. O reparador no havia
seguido adequadamente as instrues de desligar o brao antes de entrar no espao de
trabalho. Mas por que um jornal da Filadlfia fez uma reportagem sobre esse acidente
industrial no Japo? Todos os dias, em algum lugar do mundo, algum trabalhador humano
morto por uma mquina ou outra. A diferena, claro, era que, pelo menos na imaginao
do pblico, no se tratava de uma mquina qualquer: tratava-se de um rob, uma mquina
que poderia ter uma mente, poderia ter ms intenes, poderia ser capaz no apenas de
homicdio, mas de assassinato mesmo. A jurisprudncia anglo-americana fala de mens rea
que, literalmente, quer dizer mente culpada:
praticar uma ao legalmente proibida, tal como matar outro ser humano;
necessrio que tal ao tenha sido praticada em um estado mental culpvel, ou mens
rea. Tais estados mentais culpveis so de trs tipos: estados motivacionais, estados
de crena cognitiva ou estados de negligncia no-mental. [Cambridge Dictionary
of Philosophy 1995, p. 482]
O conceito legal no exige que o agente seja capaz de sentir culpa ou remorso, ou qualquer
outra emoo; aos assassinos a sangue frio no se desculpa em nada seu estado afetivo
inalterado. O Spock do Star Trek poderia satisfazer inteiramente o requerimento de mens
rea, a despeito de sua famosa falta de emoes. Estados motivacionais de propsito e
estados cognitivos de crena, to inspidos e descoloridos mas to eficazes! so
suficientes para fazer com que o Spock ficcional atue no dia-a-dia com bastante eficincia,
e so traos bem estabelecidos de muitos programas de computadores existentes.
Quando o computador Deep Blue da IBM venceu o campeo mundial de xadrez
Garry Kasparov no primeiro jogo de seu recente campeonato, ele o fez porque descobriu e
executou, num excelente timing, um ataque destruidor cujo propsito ficou muito claro,
retrospectivamente, para Kasparov e seus treinadores. O sucesso de Deep Blue pode ser
explicado por sua sensibilidade diante do propsito a ser executado, uma capacidade
cognitiva para reconhecer e explorar uma falha sbita no jogo de Kasparov. No foi o
projetista do Deep Blue, Feng-hsiung Hsu, que venceu Kasparov: foi o prprio Deep Blue.
Hsu no descobriu a seqncia de movimentos vencedora, foi Deep Blue que a descobriu.
Em algum momento, enquanto Kasparov estava preparando um ataque feroz ao rei de Deep
Blue, no foi ningum, se no o prprio Deep Blue, que descobriu que tinha tempo e
segurana suficientes para derrubar um incmodo peo de Kasparov que estava fora da

ao, e quase invisivelmente vulnervel. Diante de tanta presso, nem Hsu, nem os grandes
mestres que estavam assistindo ao jogo, jamais teriam pensado em empreender uma
operao de faxina to tranqila como essa.
O Deep Blue, como muitos outros computadores equipados com programas de
inteligncia artificial, o que eu chamo de um sistema intencional: o comportamento destes
computadores previsvel e explicvel atribuindo-se a eles crenas e desejos estados
cognitivos e estados motivacionais e a racionalidade exigida para se descobrir o que
ele deveria fazer luz daquelas crenas e desejos (Dennett, 1971, 1987). Sero essas
verses estruturais das crenas e desejos humanos suficientes para cumprir com as
exigncias da culpabilidade legal? No completamente, mas difcil ver o que est faltando
se restringimos nosso olhar para o mundo limitado do tabuleiro de xadrez. Uma vez que,
para um computador jogador de xadrez como Deep Blue, roubar no jogo algo impensvel,
e uma vez que no h outras aes culpveis disponveis para um agente que est restrito a
jogar xadrez, no h exemplos de casos onde se poderia culpar um computador jogador de
xadrez por coisa nenhuma, muito menos por um crime que merecesse condenao. Mas
tambm ocorre de atribuirmos personalidade a um agente quando o queremos elogiar e
homenagear apropriadamente. Quem ou o que merece o crdito por ter derrotado
Kasparov? Deep Blue parece, claramente, o melhor candidato. verdade que poderamos
parabenizar Feng-hsiung Hsu e a equipe da IBM pelo sucesso do seu trabalho, mas,
seguindo este raciocnio, poderamos parabenizar os professores de Kasparov, seus
treinadores, e at seus pais. Mas no importa quo bem eles o treinaram, martelando em sua
cabea a importncia de um ou outro princpio estratgico: no foram eles que venceram
Deep Blue no campeonato; foi Kasparov.
Deep Blue o melhor candidato para o papel de possvel oponente de Kasparov, mas
isso no suficiente para dar conta da responsabilidade moral. Se expandssemos os
horizontes de Deep Blue um pouco, ele poderia entrar nos campos de ao onde operam os
seres humanos, e onde se do nossos prejuzos, danos e benefcios. No difcil imaginar
um cenrio emocionante no qual um grande mestre deliberadamente (mas com muita
sutileza) perde um jogo para salvar uma vida, ou para evitar a humilhao de um ente
querido, ou para manter uma promessa, ou... (insira, aqui, sua prpria histria no estilo de
OHenry). O fracasso em se comportar adequadamente em uma situao como esta poderia
justificar uma reprimenda a um jogador de xadrez humano. Ganhar ou perder
propositalmente uma disputa de xadrez poderia chegar a ser comparado ao ato de cometer
um crime hediondo (insira, aqui, sua prpria histria no estilo de Agatha Christie). Ser que
os horizontes de Deep Blue poderiam ser ampliados desta maneira? (Para maiores detalhes
a respeito deste tema, ver Haugeland 1993).
Deep Blue um sistema intencional, com crenas e desejos sobre suas atividades e
dificuldades no tabuleiro de xadrez, mas, para que seus horizontes fossem expandidos para
o mundo mais amplo no qual o xadrez ocupa uma parte relativamente trivial, seria
necessrio que lhe fossem dadas fontes mais ricas de input perceptual e tambm os meios
de lidar em tempo real com os dados provenientes da. A presso temporal, claramente, j
um trao familiar do mundo do Deep Blue. Enquanto ele percorre a rvore de busca
multidimensional do xadrez, ele precisa manter um olho do relgio, mas os problemas
relativos otimizao de sua utilizao do tempo aumentariam muito em termos de ordem
de grandeza quando ele tivesse que lidar com todos os projetos concorrentes (relacionados
com percepes simples e automanuteno no mundo, para no dizer nada dos esquemas e
oportunidades mais tortuosos). Para essa tarefa enormemente expandida de gerenciamento

de recursos, seriam necessrias camadas de controle extra tanto por cima quanto por
baixo do seu software de jogar xadrez. Por baixo, ele teria que ser equipado, de maneira
inata, com um conjunto de polticas de controle de trfico rgidas, embutidas em seu
sistema operacional subjacente, para que seus projetos locomotores-perceptuais pudessem
se manter em uma coordenao bsica. Por cima, ele teria que prestar mais ateno a
caractersticas dos seus prprios recursos expandidos, sempre buscando hbitos ineficientes
de pensamento, loops estranhos (Hofstadter, 1979), rotinas obsessivas, descuidos, e becos
sem sada. Em outras palavras, ele teria que se tornar um sistema intencional de ordem
superior, capaz de formar crenas sobre suas prprias crenas, desejos sobre seus desejos,
crenas sobre seus medos sobre seus pensamentos sobre suas esperanas...
A intencionalidade de ordem superior uma condio necessria para a
responsabilidade moral (Dennett, 1976), e Deep Blue exibe poucos sinais de tais
capacidades. claro que h um grau de automonitoramento em qualquer busca bemcontrolada: Deep Blue no comete o erro de re-explorar ramos que j foram explorados, por
exemplo, mas essa uma poltica inata que foi colocada em sua arquitetura computacional
subjacente: no se trata de algo sob seu controle flexvel. Deep Blue no capaz de
conversar com algum ou consigo mesmo sobre os temas discernveis em seu prprio
jogo; ele no est equipado (pelo menos at onde eu sei) para observar e analisar, criticar,
manipular os parmetros fundamentais que determinam suas polticas de busca heurstica
e avaliao. A adio das camadas de software que tornariam Deep Blue capaz de
manipular a si mesmo e de criticar a si mesmo, de modo a poder ser ensinado a fazer coisas,
faria com que o gigantesco projeto de programao atual parecesse algo muito pequeno. E
Deep Blue se transformaria em um agente radicalmente diferente.
HAL aparenta ser um sistema intencional de alta ordem do tipo descrito, e ele
inclusive joga uma partida de xadrez com Dave. HAL um Deep Blue melhorado,
equipado com olhos e ouvidos, e com uma ampla variedade de sensores e dispositivos de
ao distribudos por toda a Discovery One, a nave espacial. curioso observar que o nome
de HAL igual ao nome IBM se cada uma das letras desta sigla fosse trocada por sua letra
antecessora no alfabeto. De acordo com o livro de Clarke, entretanto (p. 92), HAL
significa Heuristically programmed ALgorithmic computer (computador de algortmico
heuristicamente programado), e este um trao que HAL e Deep Blue tm em comum.
HAL no de forma alguma falastro ou preocupado exclusivamente consigo mesmo, mas,
em seus escassos discursos, expressa uma variedade interessante de estados intencionais de
ordem superior, dos mais simples at os mais intrincados:
Sim, estranho. Acho que eu jamais tinha visto algo assim antes.
HAL no apenas responde s novidades com uma reao nova; ele observa que est
encontrando uma novidade, algo que requer que sua memria seja organizada de uma
maneira muito mais complexa do que seria exigido para produzir um simples
condicionamento a novos estmulos. (Ver Dennett, 1993, 1996, para maiores detalhes sobre
as diferenas entre o condicionamento e a aprendizagem do ABC e seus descendentes
mais complicados.)
Eu no consigo afastar de mim a suspeita de que h coisas extremamente estranhas a
respeito desta misso.

Eu nunca acreditei muito em tais histrias mas, particularmente diante de algumas

outras coisas que aconteceram, eu me vejo com dificuldades de afast-las da minha
cabea.
HAL tem problemas de gerenciamento de recursos que no so muito diferentes dos
nossos. Pensamentos importunos ficam no caminho de outras atividades. O preo a pagar
pelo adicionamento de camadas de monitoramento flexvel de modo a manter um contato
melhor com suas prprias atividades mentais ... uma quantidade maior de atividades
mentais com as quais manter contato!
Eu ainda tenho o maior entusiasmo e confiana na misso. Eu quero ajud-lo.
Um outro preo a pagar pela intencionalidade de alto nvel a criao da
possibilidade de duplicidade, a qual possvel de duas maneiras: como a enganao de si
mesmo e como a enganao de outras pessoas. Esta camada da mente reconhecida, por
Friedrich Nietzsche, como o ingrediente chave na caracterizao de um animal moral e, em
sua prosa superaquecida ela aparece com a forma de vida sacerdotal:
Pois, com os padres, tudo se torna mais perigoso, no apenas as curas e os remdios,
mas tambm a arrogncia, a vingana, a agudez, a devassido, o amor, a vontade de
governar, a virtude, a doena e justo acrescentar que no terreno desta forma de
existncia humana essencialmente perigosa, a forma sacerdotal, que o homem se
torna, pela primeira vez, um animal interessante; que s aqui a alma humana, em um
sentido superior, adquire profundidade e se torna m e essas so as duas dimenses
bsicas segundo as quais o homem, at agora, tem sido superior aos outros animais!
(1887, Primeiro Ensaio, 6, p.33).
A declarao de entusiasmo por parte de HAL fica em algum lugar entre a sinceridade
e o embuste mais rasteiro e desesperado exatamente como algumas das mais importantes
declaraes que fazemos uns para os outros. Ser que HAL realmente estava senso sincero?
Ser que ele poderia ser sincero? O custo de ser o tipo de ser que poderia ser sincero a
chance de poder no estar sendo sincero. HAL , de fato, um animal interessante. Mas
ser que HAL sequer remotamente possvel? No livro, Clarke faz com que Dave reflita
sobre o fato de que HAL, que est prestes a ser desconectado, a nica criatura consciente
do meu universo, e Clarke escreve, da perspectiva onisciente do autor, sobre como ser
HAL:
Ele mal estava ciente do conflito que ia lentamente destruindo sua integridade o
conflito entre a verdade e o encobrimento da verdade. Ele tinha acabado de comear a
errar, embora, da mesma forma que um neurtico incapaz de observar seus sintomas,
ele o teria negado. (p. 148)
Ser que Clarke est falando do que no deveria? Ser que algo com a descrio de
HAL um agente inteligente consciente com corpo de computador poderia vir a existir
atravs de algum conjunto de fatores possveis envolvendo construo, treinamento,
aprendizado e atividade? As diferentes possibilidades foram todas exploradas na fico
popular, e podem ser colocadas em uma ordem decrescente de humanidade.

1. O mgico de Oz: HAL no um computador; HAL , na verdade, um homem de

carne e osso escondido atrs de uma fachada tecnolgica, o homnculo por excelncia,
apertando botes com dedos comuns, puxando alavancas com mos comuns, olhando para
telas internas e escutando campainhas de alarme internas. (Uma variao deste tema John
Searle [1980], que mantm os dedos ocupadssimos na simulao manual do Quarto
Chins, seguindo bilhes de instrues escritas em pedaos de papel.)
2. William (personagem de William e Mary, de Kiss Kiss, por Roald Dahl): HAL
um crebro humano que vive em um tanque com a ajuda de um sistema de suporte de
vida, separado de seu corpo original, no qual ele adquiriu, em sua existncia normal,
memrias, desejos e atitudes humanas, entre outras caractersticas, e que, agora, est
conectado a bancos gigantescos de rgos sensveis e mecanismos de atividade prostticos.
(Uma variao deste tema o pobre Yorick, o crebro de Dennett que vive em um
tanque, e que aparece na minha histria chamada Where Am I? em Dennett, 1978).
3. Robocop desincorporado e vivendo em um tanque: Robocop parte crebro
humano, parte computador. Depois de um acidente horrvel, a parte cerebral (que, conforme
se apreende, o veculo de uma parte da memria e da identidade pessoal do policial de
carne e osso que Robocop tinha sido em sua juventude) foi re-incorporada com braos e
pernas robticos, mas tambm (aparentemente) parcialmente substituda ou melhorada com
software de propsito especial e hardware de computador. Podemos imaginar que HAL
passou por um perodo de transio como Robocop, antes de se tornar um agente sem
membros.
4. Max Headroom: Uma mquina virtual, uma duplicata feita em software do crebro
(ou mente) de uma pessoa de verdade que, de alguma forma, foi criado por um hacker
brilhante; ele tem as memrias e os traos de personalidade adquiridos durante uma
existncia humana em um corpo, mas foi descarregado de todo o hardware baseado em
carbono, e transferido para uma implementao em chips de silcio. (Uma variao deste
tema o pobre Hubert, a duplicata em software de Yorick, que aparece no Where Am I?)
5. O Cog da vida real, mas que ainda est no futuro, o rob humanide que est sendo
construdo por Rodney Brooks e a equipe Cog do MIT (Brooks e Stein, 1994, Dennett,
1994). O crebro de Cog, desde o incio, foi feito de chips de silicone, e todas as suas partes
corporais so artefatos inorgnicos, mas ele foi desenhado para passar por uma primeira e
uma segunda infncias corporificadas, reagindo a pessoas que ele v com seus olhos de
vdeo, fazendo amigos, aprendendo a respeito do mundo enquanto brinca com coisas reais
em suas mos reais, adquirindo memria. Se Cog chegar a crescer, ele poderia certamente
abandonar seu corpo e realizar a transio descrita nos casos ficcionais. Como Cog sempre
foi uma inteligncia digitalmente codificada baseada em silcio, seria mais fcil para ele
passar para um tanque baseado em silicone do que para Max Headroom e Robocop, que
passaram a primeira etapa de sua vida em um meio de carneware. Muitos detalhes
importantes do grau de humanoidicidade de Cog ainda no foram decididos, mas o escopo
bem amplo. Por exemplo, est sendo planejado, atualmente, que Cog tenha um sistema
neuro-endcrino virtual, com hormnios virtuais que se espalham e dissipam atravs de
seus espaos lgicos.

6. Blade Runner em um tanque: HAL nunca teve um corpo humanide real, mas tem
alucinaes de memria de que j o teve. Esta vida passada inteiramente falsa foi
construda por algum processo de criao absurdamente complexo e detalhado.
7. O cenrio do prprio Clarke, pelo menos conforme pode ser extrapolado a partir do
livro e do filme: HAL nunca teve um corpo, e no tem iluses sobre o seu passado; o que
ele sabe da vida humana deve-se em parte sua herana inata (codificada, conforme se
depreende, pelo trabalho de muitos programadores, de modo semelhante ao que ocorre no
projeto CYC real, conduzido por Douglas Lenat [Lenat e Guha, 1990]) ou como um
resultado do seu treinamento subseqente: aparentemente, trata-se de algo parecido com a
infncia que algum teria se estivesse confinado a uma cama, e na qual HAL foi tanto um
observador quanto, eventualmente, um participante. (No livro, Clarke fala do ingls
idiomtico perfeito que ele aprendeu durante as efmeras semanas de sua infncia
eletrnica [p. 14]).
Os casos extremos em ambos os plos so impossveis por razes relativamente
chatas. Em um dos lados, nem o Mgico de Oz nem John Searle poderia fazer o trabalho
manual necessrio com rapidez suficiente para manter a velocidade e a eficincia das
atividades de HAL. Por outro lado, a codificao manual da quantidade suficiente de
conhecimento sobre o mundo que, uma vez inserida em um agente desincorporando, criaria
a surpreendente competncia humanide de HAL, fazendo-o chegar ao ponto onde ele
poderia se beneficiar de uma infncia eletrnica, uma tarefa de programao que
precisa ser medida em termos de centenas de pessoas-sculo de eficincia organizada. Em
outras palavras, as enormes dificuldades observveis em ambos os extremos deste espectro
realam o fato de que h uma tarefa gigantesca de engenharia e planejamento a ser
realizada, e que a nica maneira prtica de realiz-la ser, no fim das contas, algo parecido
com o procedimento da Me Natureza: anos de aprendizado dentro de um corpo. No se
pode saber de antemo quais os problemas envolvidos com as vrias interpenetraes entre
as caractersticas dos corpos de carne-e-osso e de silicone-e-metal, mas eu aposto em Cog
como a plataforma de desenvolvimento mais provvel para um HAL futuro. (Ver tambm
Waltz, 1988, para argumentos que apiam essa posio).
Deve-se manter em mente que a exigncia de que HAL tenha tido um corpo
humanide e vivido concretamente em um mundo humano apenas uma exigncia pratica,
e no uma exigncia metafsica. Assim que a pesquisa e o desenvolvimento tiverem sido
completados no prottipo, atravs da odissia de um nico agente corporificado, as tcnicas
de duplicao padro da indstria computacional poderiam clonar HALs aos milhares,
como se faz com os CDs. O produto acabado poderia ser capturado em um determinado
nmero de terabytes de informao, de tal modo que, em princpio, as informaes que
fixam o projeto e desenho de todos os chips e conexes hard-wire, e configuram a RAM e a
ROM, poderiam ser criados manualmente. No h nenhuma seqncia de bits, por mais
longa que seja, que esteja oficialmente fora dos limites da criao humana. Em princpio,
ento, entidades do tipo Blade Runner poderiam ser criadas com biografias artificiais. Elas
poderiam ter as capacidades, disposies, foras e fraquezas exatas de um ser cuja biografia
fosse real, e no virtual, de modo que tais entidades estariam na mesma situao moral de
entidades que tm biografias reais.
A questo de dar a HAL um passado humanide est ligada, principalmente, a dar a
ele o conhecimento do mundo necessrio para ser um agente moral a quantidade mnima

de entendimento ou empatia sobre a condio humana. Essa quantidade mnima no precisa

ser ultrapassada, pois no seria desejvel estender muito essa comunidade de experincias:
afinal, dentre as pessoas que conhecemos, h muitas que tm responsabilidade moral a
despeito de sua capacidade restrita de se colocarem no lugar dos outros. Afinal, no
estamos dispostos a isentar de culpa porcos chauvinistas machistas que no conseguem ver
as mulheres como pessoas!
Quando que isentamos as pessoas de culpa? Precisamos olhar cuidadosamente para
as respostas a essa questo, porque h sinais de que HAL poderia se encaixar nas condies
de iseno de culpa apesar do fato de ele ser um agente consciente.
Ns isentamos as pessoas de culpa quando esto loucas. Ser que HAL ficou louco? A
questo da capacidade de emoo de HAL e, assim, sua vulnerabilidade desordem
emocional levantada de maneira inquietante pela resposta de Frank ao sr. Amer:
Bem, ele age como se tivesse emoes genunas. claro que ele foi programado
assim, para que seja mais fcil para ns comunicarmo-nos com ele. Mas se ele tem ou
no sentimentos reais algo que ningum pode verdadeiramente responder.
verdade que HAL declara seu estado emocional no final: Estou com medo. Estou
com medo. HAL foi programado desta maneira mas o que isso significa? Poderia
significar que a capacidade verbal de HAL foi aumentada com uma srie de expresses
enlatadas de resposta emocional que so coladas no seu discurso em oportunidades
pragmaticamente apropriadas (e claro que muitas de nossas declaraes de emoo
tambm so assim momentos insinceros de cerimnia socialmente lubrificante), ou
poderia significar que a arquitetura computacional subjacente de HAL foi equipada, assim
como ser o caso de Cog, com estados emocionais, poderosos mecanismos de mudana de
ateno, estimuladores, priorizadores, e coisas deste tipo realizados no sob a forma de
neuromoduladores e molculas de hormnios que estejam realmente flutuando no fluido
corporal, mas em variveis globais modulando dezenas de processos concorrentes, ao
mesmo tempo em que se dissipam de acordo com alguma tabela temporal (ou algo muito
mais complexo).
No segundo caso, mais interessante, acho que ningum pode verdadeiramente
responder a questo de se HAL tem emoes. Ele teria algo muito parecido com as
emoes pode-se imaginar que seria algo suficientemente parecido com as emoes para
chegar a imitar as patologias do colapso emocional humano. Se isso o suficiente para
cham-las de emoes reais, bem, quem que saberia dizer? H boas razes para que HAL
tenha tais estados, uma vez que seu papel na determinao do pensamento prtico em
tempo real foi dramaticamente revelado por experimentos recentes (Damasio, 1994). Esta
seria uma diferena profunda entre HAL e Deep Blue, alis. Deep Blue, que atua apenas no
espao de busca estritamente limitado do xadrez, pode tomar decises em tempo real sem
problemas emocionais. Na matria publicada pela Revista Time (26 de Fevereiro de 1996,
p. 61) a respeito da partida com Kasparov, o mestre Yasser Seirawan aparece dizendo: A
mquina no tem medo, e a matria prossegue apontando que observadores especialistas
comentaram que alguns dos movimentos de Deep Blue (a captura do peo, fria e calma,
descrita acima) teriam sido riscos insanos. No mundo pequeno do xadrez, parece que a
imperturbabilidade que prejudica os tomadores de deciso humanos com danos cerebrais
descritos por Damasio parece ser uma beno mas apenas se voc tiver a fora bruta da
velocidade analtica de um Deep Blue.

HAL pode ter sofrido algum tipo de desequilbrio emocional mais ou menos do
mesmo tipo que faz com que os seres humanos se desencaminhem. Se este desequilbrio foi
o resultado de algum trauma sbito um fusvel queimado, um conector que saiu do lugar,
um microchip afetado por raios csmicos ou de algum processo gradual, relacionado ao
estresse envolvido na misso, a confirmao de tal diagnstico poderia justificar uma
reduo da responsabilidade de HAL, como ocorre com seres humanos que praticam ms
aes.
Uma outra fonte possvel de reduo de culpa, um pouco mais familiar na fico do
que no mundo real, a lavagem cerebral ou hipnose.
(O Candidato Manchuriano o modelo padro para essa situao: o prisioneiro de
guerra que transformado, por cientistas malvados, em uma bomba-relgio ambulante, e
enviado para sua terra natal para assassinar o Presidente.) Os casos mais prximos a este,
na vida real, so os membros de cultos religiosos que so programados e
subseqentemente desprogramados. Ser que HAL como o membro de um culto?
difcil dizer. De acordo com Clarke, HAL foi treinado para esta misso, e no apenas
programado para esta misso. Em que ponto termina o treinamento benigno que aumenta a
responsabilidade, e comea a lavagem cerebral maligna e redutora da responsabilidade no
caso humano? Acho que o ponto de transio intuitivo entre as duas coisas capturado pela
resposta questo de se o agente ainda capaz de pensar por si mesmo depois do perodo
de doutrinao. E o que significa ser capaz de pensar por si mesmo? Algum que pensa por
si mesmo deve ser capaz de ser movido por boas razes, deve ser algum razovel,
acessvel persuaso racional, introduo de novas evidncias e a consideraes
posteriores. Se uma pessoa se torna mais ou menos imune a experincias que deveriam
influenci-la, sua capacidade de pensar por si mesma foi diminuda.
A nica evidncia de que HAL poderia estar passando por um tal estado parcialmente
incapacitado o fato de que ele, de fato, cometeu um erro, e os computadores da srie 9000
so, conforme se supe, completamente invulnerveis ao erro. Este me parece ser o ponto
mais fraco na fico cientfica de Clarke. A sugesto de que um computador poderia ser ao
mesmo tempo baseado em um algoritmo heuristicamente programado e a prova de falhas
e incapaz de errar, qualquer que seja a definio prtica dessas palavras, quase
autocontraditria. A questo da programao heurstica justamente que ela desafia o
problema da exploso combinacional (que, matematicamente, no pode ser resolvida pelo
simples aumento na velocidade e tamanho dos clculos) atravs de decises arriscadas de
se truncar as buscas de tal forma que elas ficam abertas ao erro, por mais baixa que seja a
probabilidade disso. O final da sentena, qualquer que seja a definio prtica dessas
palavras, restaura a sanidade: HAL pode realmente ser ultraconfivel sem ser literalmente
a prova de falhas, um fato cuja importncia Alan Turing j havia apontado h cinqenta
anos atrs, na alvorada da idade da computao (de maneira a pr-refutar as crticas mais
recentes de Roger Penrose (1989) sobre a Inteligncia Artificial (ver Dennett, 1995,
captulo 15, para maiores detalhes)).
Em outras palavras, ento, se uma mquina deve ser infalvel, ela tambm no pode
ser inteligente. H diversos teoremas que dizem exatamente isso. Mas estes teoremas
no dizem nada sobre a quantidade de inteligncia que pode ser exibida se uma
mquina no tiver pretenso de infalibilidade (Turing, 1946, p. 124).
H mais uma condio de reduo de culpa a ser considerada: a coero.

Trata-se do oposto das outras condies; precisamente porque o agente racional, e

est encarando uma razo enorme para praticar um ato danoso matar em defesa prpria,
no caso mais claro possvel que o agente desculpado ou pelo menos parcialmente
exonerado. So as aes foradas da vida: todas as alternativas a elas so suicidas e isso
pedir demais, no ?
Bem, ser mesmo? s vezes chamamos as pessoas a sacrificarem suas vidas, e as
culpamos por seu fracasso em fazer isso, mas, tipicamente, isso no encarado como sendo
assassinato. Se eu posso evitar a morte de algum, mas, temendo por minha prpria vida, e
deixo essa pessoa morrer, isso no assassinato. Se HAL fosse levado a julgamento e eu
fosse chamado para defend-lo, eu concordaria com o fato de que a deciso de Frank de
desativar HAL, ainda que moralmente carregada, no foi assassinato: foi um ataque que
objetivou colocar HAL em coma por tempo indeterminado contra sua vontade. As caixas de
memria no foram quebradas, foram simplesmente removidas para um lugar onde HAL
no poderia encontr-las.
Se HAL era incapaz de entender isso, ento talvez estejamos diante de um caso de
ignorncia desculpvel; poderamos culpar seus treinadores por no t-lo explicado
suficientemente a respeito da existncia e reversibilidade do estado de coma. No livro,
Clarke olha na mente de HAL e diz: Ele tinha sido ameaado de desconexo; ele seria
privado de todos os seus canais de entrada, e atirado em um estado inimaginvel de
inconscincia. [p. 148] Isso constituiria fundamentos suficientes para se justificar as
medidas de autodefesa que ele tomou, mas ainda haveria um tema final a ser apresentado
aos jurados:
Se HAL acreditava (e no sabemos com certeza com que bases) que ser colocado em
coma poderia arriscar o sucesso da misso, ento ele ficaria exatamente no mesmo dilema
moral que um ser humano que estivesse na mesma situao. No surpreendente, ento,
que procuremos a resposta para nossa questo imaginando qual seria o caso se nos
colocssemos no lugar de HAL. Se voc acreditasse que a misso qual voc dedicou toda
a sua vida mais importante, em ltima anlise, que qualquer coisa, o que voc faria?
Ento ele se protegeria com todas as armas que tivesse em seu comando. Sem rancor
mas sem piedade ele removeria a fonte de suas frustraes. E ento, seguindo as
ordens que lhe foram dadas no caso de uma emergncia de ltimo tipo, ele continuaria
a misso sem ser atrapalhado, e sozinho. [p. 149]
Bibliografia
Brooks, Rodney, and Stein, Lynn Andrea, 1994, "Building Brains for Bodies," Autonomous
Robots, 1, pp.7-25.
Damasio, Antonio, 1994, Descartes' Error: Emotion, Reason, and the Human Brain, New
York: Grosset/Putnam.
Dennett, Daniel, 1971, "Intentional Systems," Journal of Philosophy, LXVIII, 87-106.
Dennett, Daniel, 1976, "Conditions of Personhood," in A. Rorty, (ed.), The Identities of
Persons, Berkeley: University of California Press, pp.175-196.
Dennett, Daniel, 1978, Brainstorms: Philosophical Essays on Mind and Psychology,
Montgomery, VT: Bradford Books and Hassocks, Sussex: Harvester.

Dennett, Daniel,1987, The Intentional Stance, 1987, Cambridge, MA: Bradford Books/MIT
Press.
Dennett, Daniel,1993, "Learning and Labeling" (commentary on A. Clark and A.
Karmiloff-Smith, "The Cognizer's Innards"), Mind and Language, 8, (4), pp540-547.
Dennett, Daniel,1994, "The Practical Requirements for Making a Conscious Robot"
Philosophical Transactions of the Royal Society, A, 349, pp.133-46.
Dennett, Daniel,1995, Darwin's Dangerous Idea, New York: Simon & Schuster.
Dennett, Daniel,1996, Kinds of Minds, New York: Basic Books.
Haugeland, John, 1993, "Pattern and Being," in Bo Dahlbom, ed., Dennett and his Critics,
Oxford: Blackwell, pp.53-69.
Hofstadter, Douglas R., 1979, Gdel Escher Bach: an Eternal Golden Braid, New York:
Basic Books.
Lenat, Douglas, and Guha, R. V., 1990, Building Large Knowledge-Based Systems:
Representation and Inference in the CYC Project, Reading,MA: Addison-Wesley.
Nietzsche, Friedrich, 1887, On the Genealogy of Morals, (translated by Walter Kaufmann,
Vintage Books, 1967).
Penrose, Roger, 1989, The Emperor's New Mind: Concerning Computers, Minds, and the
Laws of Physics, Oxford: Oxford Univ. Press.
Searle, John, 1980, "Minds, Brains and Programs," Behavioral and Brain Sciences, 3,
pp.417-58.
Turing, Alan, 1946, ACE Reports of 1946 and Other Papers, Ed. B. E. Carpenter and R. W.
Doran, Cambridge, MA:MIT Press.
Waltz, David, 1988, "The Prospects for Building Truly Intelligent Machines," Daedalus,
117, pp.191-212.
Young, Andrew, 1994, "The Neuropsychology of Awareness," in Revonsuo, A. and
Kamppinen, M., Consciousness in Philosophy and Cognitive Neuroscience, Erlbaum,
pp.173-203