Você está na página 1de 10

HAL cometeu assassinato? (Esboo do artigo publicado no livro sobre HAL editado por D. G.

Stork) 28 de Fevereiro de 1996 Daniel C. Dennett O primeiro homicdio cometido por um rob data de 1981, de acordo com meus arquivos. Tenho um recorte de jornal de 9/12/1981, do Philadelphia Inquirer (no confundir com o National Enquirer) com a seguinte manchete: Japo informa: Rob matou reparador A histria no tinha precedentes: nas instalaes da Kawasaki Indstrias Pesadas, situadas em Akashi, um rob em mau estado de funcionamento empurrou um reparador contra uma mquina de serrilhar rodas-dentadas, e ele morreu esmagado. O reparador no havia seguido adequadamente as instrues de desligar o brao antes de entrar no espao de trabalho. Mas por que um jornal da Filadlfia fez uma reportagem sobre esse acidente industrial no Japo? Todos os dias, em algum lugar do mundo, algum trabalhador humano morto por uma mquina ou outra. A diferena, claro, era que, pelo menos na imaginao do pblico, no se tratava de uma mquina qualquer: tratava-se de um rob, uma mquina que poderia ter uma mente, poderia ter ms intenes, poderia ser capaz no apenas de homicdio, mas de assassinato mesmo. A jurisprudncia anglo-americana fala de mens rea que, literalmente, quer dizer mente culpada: praticar uma ao legalmente proibida, tal como matar outro ser humano; necessrio que tal ao tenha sido praticada em um estado mental culpvel, ou mens rea. Tais estados mentais culpveis so de trs tipos: estados motivacionais, estados de crena cognitiva ou estados de negligncia no-mental. [Cambridge Dictionary of Philosophy 1995, p. 482] O conceito legal no exige que o agente seja capaz de sentir culpa ou remorso, ou qualquer outra emoo; aos assassinos a sangue frio no se desculpa em nada seu estado afetivo inalterado. O Spock do Star Trek poderia satisfazer inteiramente o requerimento de mens rea, a despeito de sua famosa falta de emoes. Estados motivacionais de propsito e estados cognitivos de crena, to inspidos e descoloridos mas to eficazes! so suficientes para fazer com que o Spock ficcional atue no dia-a-dia com bastante eficincia, e so traos bem estabelecidos de muitos programas de computadores existentes. Quando o computador Deep Blue da IBM venceu o campeo mundial de xadrez Garry Kasparov no primeiro jogo de seu recente campeonato, ele o fez porque descobriu e executou, num excelente timing, um ataque destruidor cujo propsito ficou muito claro, retrospectivamente, para Kasparov e seus treinadores. O sucesso de Deep Blue pode ser explicado por sua sensibilidade diante do propsito a ser executado, uma capacidade cognitiva para reconhecer e explorar uma falha sbita no jogo de Kasparov. No foi o projetista do Deep Blue, Feng-hsiung Hsu, que venceu Kasparov: foi o prprio Deep Blue. Hsu no descobriu a seqncia de movimentos vencedora, foi Deep Blue que a descobriu. Em algum momento, enquanto Kasparov estava preparando um ataque feroz ao rei de Deep Blue, no foi ningum, se no o prprio Deep Blue, que descobriu que tinha tempo e segurana suficientes para derrubar um incmodo peo de Kasparov que estava fora da

ao, e quase invisivelmente vulnervel. Diante de tanta presso, nem Hsu, nem os grandes mestres que estavam assistindo ao jogo, jamais teriam pensado em empreender uma operao de faxina to tranqila como essa. O Deep Blue, como muitos outros computadores equipados com programas de inteligncia artificial, o que eu chamo de um sistema intencional: o comportamento destes computadores previsvel e explicvel atribuindo-se a eles crenas e desejos estados cognitivos e estados motivacionais e a racionalidade exigida para se descobrir o que ele deveria fazer luz daquelas crenas e desejos (Dennett, 1971, 1987). Sero essas verses estruturais das crenas e desejos humanos suficientes para cumprir com as exigncias da culpabilidade legal? No completamente, mas difcil ver o que est faltando se restringimos nosso olhar para o mundo limitado do tabuleiro de xadrez. Uma vez que, para um computador jogador de xadrez como Deep Blue, roubar no jogo algo impensvel, e uma vez que no h outras aes culpveis disponveis para um agente que est restrito a jogar xadrez, no h exemplos de casos onde se poderia culpar um computador jogador de xadrez por coisa nenhuma, muito menos por um crime que merecesse condenao. Mas tambm ocorre de atribuirmos personalidade a um agente quando o queremos elogiar e homenagear apropriadamente. Quem ou o que merece o crdito por ter derrotado Kasparov? Deep Blue parece, claramente, o melhor candidato. verdade que poderamos parabenizar Feng-hsiung Hsu e a equipe da IBM pelo sucesso do seu trabalho, mas, seguindo este raciocnio, poderamos parabenizar os professores de Kasparov, seus treinadores, e at seus pais. Mas no importa quo bem eles o treinaram, martelando em sua cabea a importncia de um ou outro princpio estratgico: no foram eles que venceram Deep Blue no campeonato; foi Kasparov. Deep Blue o melhor candidato para o papel de possvel oponente de Kasparov, mas isso no suficiente para dar conta da responsabilidade moral. Se expandssemos os horizontes de Deep Blue um pouco, ele poderia entrar nos campos de ao onde operam os seres humanos, e onde se do nossos prejuzos, danos e benefcios. No difcil imaginar um cenrio emocionante no qual um grande mestre deliberadamente (mas com muita sutileza) perde um jogo para salvar uma vida, ou para evitar a humilhao de um ente querido, ou para manter uma promessa, ou... (insira, aqui, sua prpria histria no estilo de OHenry). O fracasso em se comportar adequadamente em uma situao como esta poderia justificar uma reprimenda a um jogador de xadrez humano. Ganhar ou perder propositalmente uma disputa de xadrez poderia chegar a ser comparado ao ato de cometer um crime hediondo (insira, aqui, sua prpria histria no estilo de Agatha Christie). Ser que os horizontes de Deep Blue poderiam ser ampliados desta maneira? (Para maiores detalhes a respeito deste tema, ver Haugeland 1993). Deep Blue um sistema intencional, com crenas e desejos sobre suas atividades e dificuldades no tabuleiro de xadrez, mas, para que seus horizontes fossem expandidos para o mundo mais amplo no qual o xadrez ocupa uma parte relativamente trivial, seria necessrio que lhe fossem dadas fontes mais ricas de input perceptual e tambm os meios de lidar em tempo real com os dados provenientes da. A presso temporal, claramente, j um trao familiar do mundo do Deep Blue. Enquanto ele percorre a rvore de busca multidimensional do xadrez, ele precisa manter um olho do relgio, mas os problemas relativos otimizao de sua utilizao do tempo aumentariam muito em termos de ordem de grandeza quando ele tivesse que lidar com todos os projetos concorrentes (relacionados com percepes simples e automanuteno no mundo, para no dizer nada dos esquemas e oportunidades mais tortuosos). Para essa tarefa enormemente expandida de gerenciamento

de recursos, seriam necessrias camadas de controle extra tanto por cima quanto por baixo do seu software de jogar xadrez. Por baixo, ele teria que ser equipado, de maneira inata, com um conjunto de polticas de controle de trfico rgidas, embutidas em seu sistema operacional subjacente, para que seus projetos locomotores-perceptuais pudessem se manter em uma coordenao bsica. Por cima, ele teria que prestar mais ateno a caractersticas dos seus prprios recursos expandidos, sempre buscando hbitos ineficientes de pensamento, loops estranhos (Hofstadter, 1979), rotinas obsessivas, descuidos, e becos sem sada. Em outras palavras, ele teria que se tornar um sistema intencional de ordem superior, capaz de formar crenas sobre suas prprias crenas, desejos sobre seus desejos, crenas sobre seus medos sobre seus pensamentos sobre suas esperanas... A intencionalidade de ordem superior uma condio necessria para a responsabilidade moral (Dennett, 1976), e Deep Blue exibe poucos sinais de tais capacidades. claro que h um grau de automonitoramento em qualquer busca bemcontrolada: Deep Blue no comete o erro de re-explorar ramos que j foram explorados, por exemplo, mas essa uma poltica inata que foi colocada em sua arquitetura computacional subjacente: no se trata de algo sob seu controle flexvel. Deep Blue no capaz de conversar com algum ou consigo mesmo sobre os temas discernveis em seu prprio jogo; ele no est equipado (pelo menos at onde eu sei) para observar e analisar, criticar, manipular os parmetros fundamentais que determinam suas polticas de busca heurstica e avaliao. A adio das camadas de software que tornariam Deep Blue capaz de manipular a si mesmo e de criticar a si mesmo, de modo a poder ser ensinado a fazer coisas, faria com que o gigantesco projeto de programao atual parecesse algo muito pequeno. E Deep Blue se transformaria em um agente radicalmente diferente. HAL aparenta ser um sistema intencional de alta ordem do tipo descrito, e ele inclusive joga uma partida de xadrez com Dave. HAL um Deep Blue melhorado, equipado com olhos e ouvidos, e com uma ampla variedade de sensores e dispositivos de ao distribudos por toda a Discovery One, a nave espacial. curioso observar que o nome de HAL igual ao nome IBM se cada uma das letras desta sigla fosse trocada por sua letra antecessora no alfabeto. De acordo com o livro de Clarke, entretanto (p. 92), HAL significa Heuristically programmed ALgorithmic computer (computador de algortmico heuristicamente programado), e este um trao que HAL e Deep Blue tm em comum. HAL no de forma alguma falastro ou preocupado exclusivamente consigo mesmo, mas, em seus escassos discursos, expressa uma variedade interessante de estados intencionais de ordem superior, dos mais simples at os mais intrincados: Sim, estranho. Acho que eu jamais tinha visto algo assim antes. HAL no apenas responde s novidades com uma reao nova; ele observa que est encontrando uma novidade, algo que requer que sua memria seja organizada de uma maneira muito mais complexa do que seria exigido para produzir um simples condicionamento a novos estmulos. (Ver Dennett, 1993, 1996, para maiores detalhes sobre as diferenas entre o condicionamento e a aprendizagem do ABC e seus descendentes mais complicados.) Eu no consigo afastar de mim a suspeita de que h coisas extremamente estranhas a respeito desta misso.

Eu nunca acreditei muito em tais histrias mas, particularmente diante de algumas outras coisas que aconteceram, eu me vejo com dificuldades de afast-las da minha cabea. HAL tem problemas de gerenciamento de recursos que no so muito diferentes dos nossos. Pensamentos importunos ficam no caminho de outras atividades. O preo a pagar pelo adicionamento de camadas de monitoramento flexvel de modo a manter um contato melhor com suas prprias atividades mentais ... uma quantidade maior de atividades mentais com as quais manter contato! Eu ainda tenho o maior entusiasmo e confiana na misso. Eu quero ajud-lo. Um outro preo a pagar pela intencionalidade de alto nvel a criao da possibilidade de duplicidade, a qual possvel de duas maneiras: como a enganao de si mesmo e como a enganao de outras pessoas. Esta camada da mente reconhecida, por Friedrich Nietzsche, como o ingrediente chave na caracterizao de um animal moral e, em sua prosa superaquecida ela aparece com a forma de vida sacerdotal: Pois, com os padres, tudo se torna mais perigoso, no apenas as curas e os remdios, mas tambm a arrogncia, a vingana, a agudez, a devassido, o amor, a vontade de governar, a virtude, a doena e justo acrescentar que no terreno desta forma de existncia humana essencialmente perigosa, a forma sacerdotal, que o homem se torna, pela primeira vez, um animal interessante; que s aqui a alma humana, em um sentido superior, adquire profundidade e se torna m e essas so as duas dimenses bsicas segundo as quais o homem, at agora, tem sido superior aos outros animais! (1887, Primeiro Ensaio, 6, p.33). A declarao de entusiasmo por parte de HAL fica em algum lugar entre a sinceridade e o embuste mais rasteiro e desesperado exatamente como algumas das mais importantes declaraes que fazemos uns para os outros. Ser que HAL realmente estava senso sincero? Ser que ele poderia ser sincero? O custo de ser o tipo de ser que poderia ser sincero a chance de poder no estar sendo sincero. HAL , de fato, um animal interessante. Mas ser que HAL sequer remotamente possvel? No livro, Clarke faz com que Dave reflita sobre o fato de que HAL, que est prestes a ser desconectado, a nica criatura consciente do meu universo, e Clarke escreve, da perspectiva onisciente do autor, sobre como ser HAL: Ele mal estava ciente do conflito que ia lentamente destruindo sua integridade o conflito entre a verdade e o encobrimento da verdade. Ele tinha acabado de comear a errar, embora, da mesma forma que um neurtico incapaz de observar seus sintomas, ele o teria negado. (p. 148) Ser que Clarke est falando do que no deveria? Ser que algo com a descrio de HAL um agente inteligente consciente com corpo de computador poderia vir a existir atravs de algum conjunto de fatores possveis envolvendo construo, treinamento, aprendizado e atividade? As diferentes possibilidades foram todas exploradas na fico popular, e podem ser colocadas em uma ordem decrescente de humanidade.

1. O mgico de Oz: HAL no um computador; HAL , na verdade, um homem de carne e osso escondido atrs de uma fachada tecnolgica, o homnculo por excelncia, apertando botes com dedos comuns, puxando alavancas com mos comuns, olhando para telas internas e escutando campainhas de alarme internas. (Uma variao deste tema John Searle [1980], que mantm os dedos ocupadssimos na simulao manual do Quarto Chins, seguindo bilhes de instrues escritas em pedaos de papel.) 2. William (personagem de William e Mary, de Kiss Kiss, por Roald Dahl): HAL um crebro humano que vive em um tanque com a ajuda de um sistema de suporte de vida, separado de seu corpo original, no qual ele adquiriu, em sua existncia normal, memrias, desejos e atitudes humanas, entre outras caractersticas, e que, agora, est conectado a bancos gigantescos de rgos sensveis e mecanismos de atividade prostticos. (Uma variao deste tema o pobre Yorick, o crebro de Dennett que vive em um tanque, e que aparece na minha histria chamada Where Am I? em Dennett, 1978). 3. Robocop desincorporado e vivendo em um tanque: Robocop parte crebro humano, parte computador. Depois de um acidente horrvel, a parte cerebral (que, conforme se apreende, o veculo de uma parte da memria e da identidade pessoal do policial de carne e osso que Robocop tinha sido em sua juventude) foi re-incorporada com braos e pernas robticos, mas tambm (aparentemente) parcialmente substituda ou melhorada com software de propsito especial e hardware de computador. Podemos imaginar que HAL passou por um perodo de transio como Robocop, antes de se tornar um agente sem membros. 4. Max Headroom: Uma mquina virtual, uma duplicata feita em software do crebro (ou mente) de uma pessoa de verdade que, de alguma forma, foi criado por um hacker brilhante; ele tem as memrias e os traos de personalidade adquiridos durante uma existncia humana em um corpo, mas foi descarregado de todo o hardware baseado em carbono, e transferido para uma implementao em chips de silcio. (Uma variao deste tema o pobre Hubert, a duplicata em software de Yorick, que aparece no Where Am I?) 5. O Cog da vida real, mas que ainda est no futuro, o rob humanide que est sendo construdo por Rodney Brooks e a equipe Cog do MIT (Brooks e Stein, 1994, Dennett, 1994). O crebro de Cog, desde o incio, foi feito de chips de silicone, e todas as suas partes corporais so artefatos inorgnicos, mas ele foi desenhado para passar por uma primeira e uma segunda infncias corporificadas, reagindo a pessoas que ele v com seus olhos de vdeo, fazendo amigos, aprendendo a respeito do mundo enquanto brinca com coisas reais em suas mos reais, adquirindo memria. Se Cog chegar a crescer, ele poderia certamente abandonar seu corpo e realizar a transio descrita nos casos ficcionais. Como Cog sempre foi uma inteligncia digitalmente codificada baseada em silcio, seria mais fcil para ele passar para um tanque baseado em silicone do que para Max Headroom e Robocop, que passaram a primeira etapa de sua vida em um meio de carneware. Muitos detalhes importantes do grau de humanoidicidade de Cog ainda no foram decididos, mas o escopo bem amplo. Por exemplo, est sendo planejado, atualmente, que Cog tenha um sistema neuro-endcrino virtual, com hormnios virtuais que se espalham e dissipam atravs de seus espaos lgicos.

6. Blade Runner em um tanque: HAL nunca teve um corpo humanide real, mas tem alucinaes de memria de que j o teve. Esta vida passada inteiramente falsa foi construda por algum processo de criao absurdamente complexo e detalhado. 7. O cenrio do prprio Clarke, pelo menos conforme pode ser extrapolado a partir do livro e do filme: HAL nunca teve um corpo, e no tem iluses sobre o seu passado; o que ele sabe da vida humana deve-se em parte sua herana inata (codificada, conforme se depreende, pelo trabalho de muitos programadores, de modo semelhante ao que ocorre no projeto CYC real, conduzido por Douglas Lenat [Lenat e Guha, 1990]) ou como um resultado do seu treinamento subseqente: aparentemente, trata-se de algo parecido com a infncia que algum teria se estivesse confinado a uma cama, e na qual HAL foi tanto um observador quanto, eventualmente, um participante. (No livro, Clarke fala do ingls idiomtico perfeito que ele aprendeu durante as efmeras semanas de sua infncia eletrnica [p. 14]). Os casos extremos em ambos os plos so impossveis por razes relativamente chatas. Em um dos lados, nem o Mgico de Oz nem John Searle poderia fazer o trabalho manual necessrio com rapidez suficiente para manter a velocidade e a eficincia das atividades de HAL. Por outro lado, a codificao manual da quantidade suficiente de conhecimento sobre o mundo que, uma vez inserida em um agente desincorporando, criaria a surpreendente competncia humanide de HAL, fazendo-o chegar ao ponto onde ele poderia se beneficiar de uma infncia eletrnica, uma tarefa de programao que precisa ser medida em termos de centenas de pessoas-sculo de eficincia organizada. Em outras palavras, as enormes dificuldades observveis em ambos os extremos deste espectro realam o fato de que h uma tarefa gigantesca de engenharia e planejamento a ser realizada, e que a nica maneira prtica de realiz-la ser, no fim das contas, algo parecido com o procedimento da Me Natureza: anos de aprendizado dentro de um corpo. No se pode saber de antemo quais os problemas envolvidos com as vrias interpenetraes entre as caractersticas dos corpos de carne-e-osso e de silicone-e-metal, mas eu aposto em Cog como a plataforma de desenvolvimento mais provvel para um HAL futuro. (Ver tambm Waltz, 1988, para argumentos que apiam essa posio). Deve-se manter em mente que a exigncia de que HAL tenha tido um corpo humanide e vivido concretamente em um mundo humano apenas uma exigncia pratica, e no uma exigncia metafsica. Assim que a pesquisa e o desenvolvimento tiverem sido completados no prottipo, atravs da odissia de um nico agente corporificado, as tcnicas de duplicao padro da indstria computacional poderiam clonar HALs aos milhares, como se faz com os CDs. O produto acabado poderia ser capturado em um determinado nmero de terabytes de informao, de tal modo que, em princpio, as informaes que fixam o projeto e desenho de todos os chips e conexes hard-wire, e configuram a RAM e a ROM, poderiam ser criados manualmente. No h nenhuma seqncia de bits, por mais longa que seja, que esteja oficialmente fora dos limites da criao humana. Em princpio, ento, entidades do tipo Blade Runner poderiam ser criadas com biografias artificiais. Elas poderiam ter as capacidades, disposies, foras e fraquezas exatas de um ser cuja biografia fosse real, e no virtual, de modo que tais entidades estariam na mesma situao moral de entidades que tm biografias reais. A questo de dar a HAL um passado humanide est ligada, principalmente, a dar a ele o conhecimento do mundo necessrio para ser um agente moral a quantidade mnima

de entendimento ou empatia sobre a condio humana. Essa quantidade mnima no precisa ser ultrapassada, pois no seria desejvel estender muito essa comunidade de experincias: afinal, dentre as pessoas que conhecemos, h muitas que tm responsabilidade moral a despeito de sua capacidade restrita de se colocarem no lugar dos outros. Afinal, no estamos dispostos a isentar de culpa porcos chauvinistas machistas que no conseguem ver as mulheres como pessoas! Quando que isentamos as pessoas de culpa? Precisamos olhar cuidadosamente para as respostas a essa questo, porque h sinais de que HAL poderia se encaixar nas condies de iseno de culpa apesar do fato de ele ser um agente consciente. Ns isentamos as pessoas de culpa quando esto loucas. Ser que HAL ficou louco? A questo da capacidade de emoo de HAL e, assim, sua vulnerabilidade desordem emocional levantada de maneira inquietante pela resposta de Frank ao sr. Amer: Bem, ele age como se tivesse emoes genunas. claro que ele foi programado assim, para que seja mais fcil para ns comunicarmo-nos com ele. Mas se ele tem ou no sentimentos reais algo que ningum pode verdadeiramente responder. verdade que HAL declara seu estado emocional no final: Estou com medo. Estou com medo. HAL foi programado desta maneira mas o que isso significa? Poderia significar que a capacidade verbal de HAL foi aumentada com uma srie de expresses enlatadas de resposta emocional que so coladas no seu discurso em oportunidades pragmaticamente apropriadas (e claro que muitas de nossas declaraes de emoo tambm so assim momentos insinceros de cerimnia socialmente lubrificante), ou poderia significar que a arquitetura computacional subjacente de HAL foi equipada, assim como ser o caso de Cog, com estados emocionais, poderosos mecanismos de mudana de ateno, estimuladores, priorizadores, e coisas deste tipo realizados no sob a forma de neuromoduladores e molculas de hormnios que estejam realmente flutuando no fluido corporal, mas em variveis globais modulando dezenas de processos concorrentes, ao mesmo tempo em que se dissipam de acordo com alguma tabela temporal (ou algo muito mais complexo). No segundo caso, mais interessante, acho que ningum pode verdadeiramente responder a questo de se HAL tem emoes. Ele teria algo muito parecido com as emoes pode-se imaginar que seria algo suficientemente parecido com as emoes para chegar a imitar as patologias do colapso emocional humano. Se isso o suficiente para cham-las de emoes reais, bem, quem que saberia dizer? H boas razes para que HAL tenha tais estados, uma vez que seu papel na determinao do pensamento prtico em tempo real foi dramaticamente revelado por experimentos recentes (Damasio, 1994). Esta seria uma diferena profunda entre HAL e Deep Blue, alis. Deep Blue, que atua apenas no espao de busca estritamente limitado do xadrez, pode tomar decises em tempo real sem problemas emocionais. Na matria publicada pela Revista Time (26 de Fevereiro de 1996, p. 61) a respeito da partida com Kasparov, o mestre Yasser Seirawan aparece dizendo: A mquina no tem medo, e a matria prossegue apontando que observadores especialistas comentaram que alguns dos movimentos de Deep Blue (a captura do peo, fria e calma, descrita acima) teriam sido riscos insanos. No mundo pequeno do xadrez, parece que a imperturbabilidade que prejudica os tomadores de deciso humanos com danos cerebrais descritos por Damasio parece ser uma beno mas apenas se voc tiver a fora bruta da velocidade analtica de um Deep Blue.

HAL pode ter sofrido algum tipo de desequilbrio emocional mais ou menos do mesmo tipo que faz com que os seres humanos se desencaminhem. Se este desequilbrio foi o resultado de algum trauma sbito um fusvel queimado, um conector que saiu do lugar, um microchip afetado por raios csmicos ou de algum processo gradual, relacionado ao estresse envolvido na misso, a confirmao de tal diagnstico poderia justificar uma reduo da responsabilidade de HAL, como ocorre com seres humanos que praticam ms aes. Uma outra fonte possvel de reduo de culpa, um pouco mais familiar na fico do que no mundo real, a lavagem cerebral ou hipnose. (O Candidato Manchuriano o modelo padro para essa situao: o prisioneiro de guerra que transformado, por cientistas malvados, em uma bomba-relgio ambulante, e enviado para sua terra natal para assassinar o Presidente.) Os casos mais prximos a este, na vida real, so os membros de cultos religiosos que so programados e subseqentemente desprogramados. Ser que HAL como o membro de um culto? difcil dizer. De acordo com Clarke, HAL foi treinado para esta misso, e no apenas programado para esta misso. Em que ponto termina o treinamento benigno que aumenta a responsabilidade, e comea a lavagem cerebral maligna e redutora da responsabilidade no caso humano? Acho que o ponto de transio intuitivo entre as duas coisas capturado pela resposta questo de se o agente ainda capaz de pensar por si mesmo depois do perodo de doutrinao. E o que significa ser capaz de pensar por si mesmo? Algum que pensa por si mesmo deve ser capaz de ser movido por boas razes, deve ser algum razovel, acessvel persuaso racional, introduo de novas evidncias e a consideraes posteriores. Se uma pessoa se torna mais ou menos imune a experincias que deveriam influenci-la, sua capacidade de pensar por si mesma foi diminuda. A nica evidncia de que HAL poderia estar passando por um tal estado parcialmente incapacitado o fato de que ele, de fato, cometeu um erro, e os computadores da srie 9000 so, conforme se supe, completamente invulnerveis ao erro. Este me parece ser o ponto mais fraco na fico cientfica de Clarke. A sugesto de que um computador poderia ser ao mesmo tempo baseado em um algoritmo heuristicamente programado e a prova de falhas e incapaz de errar, qualquer que seja a definio prtica dessas palavras, quase autocontraditria. A questo da programao heurstica justamente que ela desafia o problema da exploso combinacional (que, matematicamente, no pode ser resolvida pelo simples aumento na velocidade e tamanho dos clculos) atravs de decises arriscadas de se truncar as buscas de tal forma que elas ficam abertas ao erro, por mais baixa que seja a probabilidade disso. O final da sentena, qualquer que seja a definio prtica dessas palavras, restaura a sanidade: HAL pode realmente ser ultraconfivel sem ser literalmente a prova de falhas, um fato cuja importncia Alan Turing j havia apontado h cinqenta anos atrs, na alvorada da idade da computao (de maneira a pr-refutar as crticas mais recentes de Roger Penrose (1989) sobre a Inteligncia Artificial (ver Dennett, 1995, captulo 15, para maiores detalhes)). Em outras palavras, ento, se uma mquina deve ser infalvel, ela tambm no pode ser inteligente. H diversos teoremas que dizem exatamente isso. Mas estes teoremas no dizem nada sobre a quantidade de inteligncia que pode ser exibida se uma mquina no tiver pretenso de infalibilidade (Turing, 1946, p. 124). H mais uma condio de reduo de culpa a ser considerada: a coero.

Trata-se do oposto das outras condies; precisamente porque o agente racional, e est encarando uma razo enorme para praticar um ato danoso matar em defesa prpria, no caso mais claro possvel que o agente desculpado ou pelo menos parcialmente exonerado. So as aes foradas da vida: todas as alternativas a elas so suicidas e isso pedir demais, no ? Bem, ser mesmo? s vezes chamamos as pessoas a sacrificarem suas vidas, e as culpamos por seu fracasso em fazer isso, mas, tipicamente, isso no encarado como sendo assassinato. Se eu posso evitar a morte de algum, mas, temendo por minha prpria vida, e deixo essa pessoa morrer, isso no assassinato. Se HAL fosse levado a julgamento e eu fosse chamado para defend-lo, eu concordaria com o fato de que a deciso de Frank de desativar HAL, ainda que moralmente carregada, no foi assassinato: foi um ataque que objetivou colocar HAL em coma por tempo indeterminado contra sua vontade. As caixas de memria no foram quebradas, foram simplesmente removidas para um lugar onde HAL no poderia encontr-las. Se HAL era incapaz de entender isso, ento talvez estejamos diante de um caso de ignorncia desculpvel; poderamos culpar seus treinadores por no t-lo explicado suficientemente a respeito da existncia e reversibilidade do estado de coma. No livro, Clarke olha na mente de HAL e diz: Ele tinha sido ameaado de desconexo; ele seria privado de todos os seus canais de entrada, e atirado em um estado inimaginvel de inconscincia. [p. 148] Isso constituiria fundamentos suficientes para se justificar as medidas de autodefesa que ele tomou, mas ainda haveria um tema final a ser apresentado aos jurados: Se HAL acreditava (e no sabemos com certeza com que bases) que ser colocado em coma poderia arriscar o sucesso da misso, ento ele ficaria exatamente no mesmo dilema moral que um ser humano que estivesse na mesma situao. No surpreendente, ento, que procuremos a resposta para nossa questo imaginando qual seria o caso se nos colocssemos no lugar de HAL. Se voc acreditasse que a misso qual voc dedicou toda a sua vida mais importante, em ltima anlise, que qualquer coisa, o que voc faria? Ento ele se protegeria com todas as armas que tivesse em seu comando. Sem rancor mas sem piedade ele removeria a fonte de suas frustraes. E ento, seguindo as ordens que lhe foram dadas no caso de uma emergncia de ltimo tipo, ele continuaria a misso sem ser atrapalhado, e sozinho. [p. 149] Bibliografia Brooks, Rodney, and Stein, Lynn Andrea, 1994, "Building Brains for Bodies," Autonomous Robots, 1, pp.7-25. Damasio, Antonio, 1994, Descartes' Error: Emotion, Reason, and the Human Brain, New York: Grosset/Putnam. Dennett, Daniel, 1971, "Intentional Systems," Journal of Philosophy, LXVIII, 87-106. Dennett, Daniel, 1976, "Conditions of Personhood," in A. Rorty, (ed.), The Identities of Persons, Berkeley: University of California Press, pp.175-196. Dennett, Daniel, 1978, Brainstorms: Philosophical Essays on Mind and Psychology, Montgomery, VT: Bradford Books and Hassocks, Sussex: Harvester.

Dennett, Daniel,1987, The Intentional Stance, 1987, Cambridge, MA: Bradford Books/MIT Press. Dennett, Daniel,1993, "Learning and Labeling" (commentary on A. Clark and A. Karmiloff-Smith, "The Cognizer's Innards"), Mind and Language, 8, (4), pp540-547. Dennett, Daniel,1994, "The Practical Requirements for Making a Conscious Robot" Philosophical Transactions of the Royal Society, A, 349, pp.133-46. Dennett, Daniel,1995, Darwin's Dangerous Idea, New York: Simon & Schuster. Dennett, Daniel,1996, Kinds of Minds, New York: Basic Books. Haugeland, John, 1993, "Pattern and Being," in Bo Dahlbom, ed., Dennett and his Critics, Oxford: Blackwell, pp.53-69. Hofstadter, Douglas R., 1979, Gdel Escher Bach: an Eternal Golden Braid, New York: Basic Books. Lenat, Douglas, and Guha, R. V., 1990, Building Large Knowledge-Based Systems: Representation and Inference in the CYC Project, Reading,MA: Addison-Wesley. Nietzsche, Friedrich, 1887, On the Genealogy of Morals, (translated by Walter Kaufmann, Vintage Books, 1967). Penrose, Roger, 1989, The Emperor's New Mind: Concerning Computers, Minds, and the Laws of Physics, Oxford: Oxford Univ. Press. Searle, John, 1980, "Minds, Brains and Programs," Behavioral and Brain Sciences, 3, pp.417-58. Turing, Alan, 1946, ACE Reports of 1946 and Other Papers, Ed. B. E. Carpenter and R. W. Doran, Cambridge, MA:MIT Press. Waltz, David, 1988, "The Prospects for Building Truly Intelligent Machines," Daedalus, 117, pp.191-212. Young, Andrew, 1994, "The Neuropsychology of Awareness," in Revonsuo, A. and Kamppinen, M., Consciousness in Philosophy and Cognitive Neuroscience, Erlbaum, pp.173-203