O homem do Vaticano por dentro da Anthropic

Os eticistas católicos até tiveram uma palavra a dizer na recente atualização da Anthropic para Constituição de Claudeque define os parâmetros comportamentais para o modelo de IA da empresa. Olah enviou um rascunho para a multidão de San Jose. O pastor, McGuire, enviou de volta um comentário de 28 páginas que, pela sua própria descrição, era menos uma crítica técnica do que “sabedoria dos místicos na idade das trevas, a partir da perspectiva da tensão entre saber e não saber”. Tanto Green quanto McGuire são creditados nos reconhecimentos da constituição.

Sem dúvida, essas conversas chamaram a atenção de Olah para aqueles que organizavam secretamente o lançamento da encíclica de Leo. (Não consegui falar com Olah esta semana e não sei exatamente como o convite chegou.) De certa forma, foi uma escolha arriscada. Algumas pessoas que acharam as palavras de Leo inspiradoras ficaram desapontadas por ele ter convidado um representante da indústria para falar. Enquanto isso, os aceleracionistas da IA ​​sentiram que Olah havia traído o mundo da IA ​​ao endossar um documento que sugeria que os desenvolvedores de IA fizessem uma pausa.

Mas o Papa tinha boas razões para destacar Olah. O funcionário da Antrópico trouxe à tona as sérias preocupações que existem entre os trabalhadores de IA. Esse é um público crítico para a mensagem de Leo.

A divisão da alma

Os dois homens não estavam totalmente alinhados, é claro. Em seus comentários, Olah falou sobre o mistério de como a IA funciona. Os modelos, disse ele, são “mais sutis, estranhos e bonitos do que a ficção científica nos preparou. Eles não são os robôs frios e calculistas que nos foram prometidos. Eles são feitos de nós, de nossas palavras…”

Esse comentário parece aproximar-se da ideia de que os modelos de IA poderão um dia atingir o status humano. A Antrópica tem até um engenheiro dedicado ao bem-estar de Claude. Leão, no parágrafo 99 da sua encíclica, parece fechar a porta a tal pensamento: “Devemos evitar o equívoco de equiparar este tipo de ‘inteligência’ com a dos seres humanos”, escreve ele. Ele faz um esforço especial para atacar o conceito de transumanismo, que define como a busca de um “híbrido homem-máquina”.

Se mesmo tecnólogos ponderados como Olah estão avidamente a levar a IA ao limiar da autonomia – para não mencionar os milhões de pessoas que já tratam os modelos de IA como amigos ou amantes – o Papa Leão pode estar a enfrentar uma difícil escalada neste ponto. Na minha conversa com o Padre McGuire (que usa Claude enquanto prepara seu homiliasentre outras atividades), ele concordou que sua natureza é misteriosa. “Não é uma pessoa, mas também não é uma mera ferramenta”, diz ele. “Ninguém está afirmando que tem alma, mas a palavra que mantenho é que é uma entidade, que ainda não conhecemos.”

Esse argumento não será resolvido por algum tempo. As questões morais em torno do desenvolvimento da IA ​​precisam de atenção agora. Com o seu aliado na Anthropic, o papa americano forneceu uma base para conversas difíceis – se os senhores da IA ​​conseguirem parar as suas campanhas de IPO por tempo suficiente para se envolverem nelas.

Esta é uma edição de Steven Levy Boletim informativo de backcanal. Leia boletins informativos anteriores aqui.