versão original de esta história apareceu em Revista Quanta.
Entre as inúmeras habilidades que os humanos possuem, o que é exclusivo dos humanos? A linguagem tem sido a principal candidata, pelo menos desde Aristóteles, que escreveu que os humanos são “animais com linguagem”. Embora modelos linguísticos em grande escala como o ChatGPT reproduzam superficialmente a fala normal, os investigadores querem saber se existem certos aspectos da linguagem humana que são completamente diferentes dos sistemas de comunicação de outros animais ou de dispositivos de inteligência artificial.
Em particular, os investigadores investigaram até que ponto os modelos de linguagem podem fazer inferências sobre a própria linguagem. Para alguns membros da comunidade linguística, os modelos linguísticos são simplesmente por favor não eles têm habilidades de raciocínio não posso fazer isso. Esta visão foi formulada em 2023 pelo renomado linguista Noam Chomsky e dois coautores. escrevi tempos de Nova York “Explicações adequadas da linguagem são complexas e não podem ser aprendidas simplesmente mergulhando-as em big data.” Os modelos de IA podem ser adeptos do uso da linguagem, mas não podem analisá-la de forma sofisticada, argumentaram os investigadores.
Essa visão foi desafiada por acontecimentos recentes. papel por Gasper Beguschlinguista da Universidade da Califórnia, Berkeley. Maximiliano Dombkowskiconcluiu recentemente seu doutorado. em linguística em Berkeley. e Ryan Rosa da Universidade Rutgers. Os pesquisadores submeteram um grande número de grandes modelos de linguagem (LLMs) a uma gama completa de testes de linguagem. Isto incluiu um teste para generalizar as regras da linguagem criada no LLM. Embora a maioria dos LLMs não fosse capaz de analisar as regras da linguagem como os humanos, um LLM tinha uma habilidade incrível que superava em muito as expectativas. Ele foi capaz de analisar a linguagem da mesma maneira que os estudantes de pós-graduação em linguística, esquematizando sentenças, resolvendo múltiplos significados ambíguos e explorando recursos linguísticos complexos, como a recursão. Begush disse que a descoberta “desafia nossa compreensão do que a IA pode fazer”.
Ele disse que o novo trabalho foi oportuno e “muito importante”. Tom McCoyEle é linguista computacional na Universidade de Yale, mas não esteve envolvido no estudo. “À medida que a sociedade se torna mais dependente desta tecnologia, torna-se cada vez mais importante compreender onde ela tem sucesso e onde pode falhar.” A análise linguística é um teste ideal para avaliar até que ponto estes modelos de linguagem podem raciocinar como os humanos, acrescentou.
complexidade infinita
Um dos desafios de submeter um modelo de linguagem a testes rigorosos de linguagem é determinar se o modelo já não sabe a resposta. Esses sistemas são normalmente treinados em grandes áreas da Internet, bem como em grandes quantidades de informações escritas em dezenas, senão centenas, de idiomas e até mesmo em livros didáticos de linguística. Em teoria, um modelo poderia simplesmente lembrar e regurgitar as informações que lhe foram fornecidas durante o treinamento.
Para evitar isso, Begush e seus colegas criaram um teste de idioma em quatro partes. Três das quatro partes envolviam pedir ao modelo que analisasse sentenças especialmente construídas usando diagramas de árvore, que foram introduzidos pela primeira vez no livro inovador de Chomsky de 1957. estrutura sintática. Esses diagramas dividem as sentenças em sintagmas nominais e sintagmas verbais, e ainda os subdividem em substantivos, verbos, adjetivos, advérbios, preposições, conjunções e assim por diante.
Parte dos testes focou na recursão, a capacidade de incorporar frases dentro de frases. “O céu é azul” é uma frase simples em inglês. “Jane diz que o céu é azul” incorpora a frase original em uma frase um pouco mais complexa. É importante ressaltar que esse processo de recursão pode continuar para sempre. “Maria se perguntou se Sam sabia que Omar tinha ouvido Jane dizer que o céu era azul.” também é gramaticalmente correto, embora seja uma frase reflexiva estranha.
