Pela primeira vez, a IA analisa a linguagem tão bem quanto um especialista humano

A versão original de esta história apareceu em Revista Quanta.

Entre as inúmeras habilidades que os humanos possuem, quais são exclusivamente humanas? A linguagem tem sido uma das principais candidatas, pelo menos desde Aristóteles, que escreveu que a humanidade era “o animal que possui linguagem”. Mesmo que grandes modelos de linguagem, como o ChatGPT, reproduzam superficialmente a fala comum, os investigadores querem saber se existem aspectos específicos da linguagem humana que simplesmente não têm paralelos nos sistemas de comunicação de outros animais ou dispositivos artificialmente inteligentes.

Em particular, os investigadores têm explorado até que ponto os modelos de linguagem podem raciocinar sobre a própria linguagem. Para alguns membros da comunidade linguística, os modelos linguísticos não só não têm capacidade de raciocínio, eles não pode. Esta visão foi resumida por Noam Chomsky, um linguista proeminente, e dois co-autores em 2023, quando escreveu em O jornal New York Times que “as explicações corretas da linguagem são complicadas e não podem ser aprendidas apenas marinando em big data”. Os modelos de IA podem ser adeptos da utilização da linguagem, argumentaram estes investigadores, mas não são capazes de analisar a linguagem de uma forma sofisticada.

Essa visão foi contestada em um recente papel por Gasper Begušlinguista da Universidade da Califórnia, Berkeley; Maksymilian Dąbkowskique recentemente recebeu seu doutorado em linguística em Berkeley; e Ryan Rodes da Universidade Rutgers. Os investigadores submeteram uma série de grandes modelos de linguagem, ou LLMs, a uma gama de testes linguísticos – incluindo, num caso, fazer com que o LLM generalizasse as regras de uma linguagem inventada. Embora a maioria dos LLMs não tenha conseguido analisar as regras linguísticas da maneira que os humanos são capazes de fazer, um deles tinha habilidades impressionantes que superaram em muito as expectativas. Ele foi capaz de analisar a linguagem da mesma forma que um estudante de pós-graduação em linguística faria – diagramando sentenças, resolvendo múltiplos significados ambíguos e fazendo uso de recursos linguísticos complicados, como a recursão. Esta descoberta, disse Beguš, “desafia a nossa compreensão do que a IA pode fazer”.

Este novo trabalho é oportuno e “muito importante”, disse Tom McCoyum linguista computacional da Universidade de Yale que não esteve envolvido na pesquisa. “À medida que a sociedade se torna mais dependente desta tecnologia, é cada vez mais importante compreender onde ela pode ter sucesso e onde pode falhar.” A análise linguística, acrescentou ele, é o banco de testes ideal para avaliar até que ponto esses modelos de linguagem podem raciocinar como os humanos.

Complexidade Infinita

Um desafio de aplicar um teste linguístico rigoroso aos modelos de linguagem é garantir que eles ainda não saibam as respostas. Esses sistemas são normalmente treinados em enormes quantidades de informação escrita – não apenas na maior parte da Internet, em dezenas, senão centenas de idiomas, mas também em coisas como livros didáticos de linguística. Os modelos poderiam, em teoria, simplesmente memorizar e regurgitar as informações que receberam durante o treinamento.

Para evitar isto, Beguš e os seus colegas criaram um teste linguístico em quatro partes. Três das quatro partes envolviam pedir ao modelo para analisar sentenças especialmente elaboradas usando diagramas de árvore que foram introduzidos pela primeira vez no livro marcante de Chomsky de 1957 Estruturas Sintáticas. Esses diagramas dividem as sentenças em sintagmas nominais e sintagmas verbais e depois os subdividem em substantivos, verbos, adjetivos, advérbios, preposições, conjunções e assim por diante.

Uma parte do teste focou na recursão – a capacidade de incorporar frases dentro de frases. “O céu é azul” é uma frase simples em inglês. “Jane disse que o céu é azul” incorpora a frase original em uma frase um pouco mais complexa. É importante ressaltar que esse processo de recursão pode durar para sempre: “Maria se perguntou se Sam sabia que Omar ouviu que Jane disse que o céu é azul” também é uma frase recursiva gramaticalmente correta, embora estranha.