SÃO FRANCISCO – O Dr. Demis Hassabis, um dos especialistas em inteligência artificial mais influentes do mundo, tem um aviso para o resto da indústria tecnológica: não esperem que os chatbots continuem a melhorar tão rapidamente como nos últimos anos.
Há já algum tempo que os investigadores de IA se baseiam num conceito bastante simples para melhorar os seus sistemas: quanto mais dados extraídos da Internet forem bombeados para grandes modelos de linguagem – a tecnologia por detrás dos chatbots – melhor será o desempenho desses sistemas.
Mas o Dr. Hassabis, que supervisiona o Google DeepMind, o principal laboratório de IA da empresa, diz agora que esse método está perdendo força simplesmente porque as empresas de tecnologia estão ficando sem dados.
“Todos na indústria estão a registar retornos decrescentes”, disse o Dr. Hassabis este mês numa entrevista ao The New York Times, enquanto se preparava para aceitar o Prémio Nobel pelo seu trabalho em IA.
O Dr. Hassabis não é o único especialista em IA alertando sobre uma desaceleração. Entrevistas com 20 executivos e investigadores mostraram uma crença generalizada de que a indústria tecnológica está a deparar-se com um problema que muitos considerariam impensável há apenas alguns anos: eles esgotaram a maior parte do texto digital disponível na Internet.
Esse problema está a começar a surgir ao mesmo tempo que milhares de milhões de dólares continuam a ser investidos no desenvolvimento da IA.
Na semana passada, a Databricks, uma empresa de dados de IA, disse que estava se aproximando de US$ 10 bilhões (US$ 13,5 bilhões) em financiamento – a maior rodada de financiamento privado de todos os tempos para uma startup. E as maiores empresas tecnológicas estão a sinalizar que não têm planos de abrandar os seus gastos nos gigantescos centros de dados que gerem sistemas de IA.
Nem todos no mundo da IA estão preocupados. Alguns, incluindo o CEO da OpenAI, Sam Altman, dizem que o progresso continuará no mesmo ritmo, embora com algumas alterações em técnicas antigas. Dario Amodei, CEO da startup de IA Anthropic, e Jensen Huang, CEO da Nvidia, também estão otimistas.
(O Times processou a OpenAI, alegando violação de direitos autorais de conteúdo de notícias relacionado a sistemas de IA. A OpenAI negou as acusações.)
As raízes do debate remontam a 2020, quando o professor associado Jared Kaplan, físico teórico da Universidade Johns Hopkins, publicou um artigo de investigação mostrando que grandes modelos de linguagem se tornaram cada vez mais poderosos e realistas à medida que analisavam mais dados.
Os pesquisadores chamaram as descobertas de Kaplan de “Leis de Escala”. Tal como os alunos aprendem mais lendo mais livros, os sistemas de IA melhoraram à medida que ingeriam quantidades cada vez maiores de texto digital recolhido da Internet, incluindo artigos de notícias, registos de conversas e programas de computador.
Vendo o poder bruto deste fenômeno, empresas como OpenAI, Google e Meta correram para obter o máximo possível de dados da Internet, economizando, ignorando políticas corporativas e até debatendo se deveriam contornar a lei, de acordo com um exame deste ano pelo Times.
Era o equivalente moderno da Lei de Moore, a máxima frequentemente citada e cunhada na década de 1960 pelo cofundador da Intel, Gordon Moore. Ele mostrou que o número de transistores em um chip de silício dobrava a cada dois anos ou mais, aumentando continuamente a potência dos computadores do mundo. A Lei de Moore durou 40 anos. Mas eventualmente, começou a desacelerar.
O problema é: nem as Leis de Escala nem a Lei de Moore são leis imutáveis da natureza. São simplesmente observações inteligentes. Um resistiu por décadas. Os outros podem ter uma vida útil muito mais curta.
O novo empregador do Google e da Kaplan, a Anthropic, não pode simplesmente lançar mais texto em seus sistemas de IA porque resta pouco texto para lançar.
“Houve retornos extraordinários nos últimos três ou quatro anos, à medida que as Leis de Dimensionamento foram implementadas”, disse o Dr. Hassabis. “Mas não estamos mais obtendo o mesmo progresso.”
O Dr. Hassabis disse que as técnicas existentes continuariam a melhorar a IA de algumas maneiras. Mas ele disse acreditar que seriam necessárias ideias inteiramente novas para alcançar o objetivo que o Google e muitos outros perseguiam: uma máquina que pudesse igualar o poder do cérebro humano.
Ilya Sutskever, que foi fundamental para levar a indústria a pensar grande como pesquisador no Google e na OpenAI antes de deixar a OpenAI para criar uma nova startup na primavera passada, defendeu o mesmo ponto durante um discurso este mês.
“Alcançamos dados de pico e não haverá mais”, disse ele. “Temos que lidar com os dados que temos. Só existe uma internet.”
Dr. Hassabis e outros estão explorando uma abordagem diferente. Eles estão desenvolvendo maneiras para que grandes modelos de linguagem aprendam com suas próprias tentativas e erros.
Ao resolver vários problemas matemáticos, por exemplo, os modelos de linguagem podem aprender quais métodos levam à resposta certa e quais não. Em essência, os modelos são treinados com base em dados que eles próprios geram. Os pesquisadores chamam isso de “dados sintéticos”.
A OpenAI lançou recentemente um novo sistema chamado OpenAI o1 que foi construído desta forma. Mas o método só funciona em áreas como matemática e programação de computadores, onde existe uma distinção firme entre o certo e o errado.
Mesmo nessas áreas, os sistemas de IA conseguem cometer erros e inventar coisas. Isto pode dificultar os esforços para construir “agentes” de IA que possam escrever os seus próprios programas de computador e tomar medidas em nome dos utilizadores da Internet, o que os especialistas consideram uma das competências mais importantes da IA.
Classificar as extensões mais amplas do conhecimento humano é ainda mais difícil.
“Esses métodos só funcionam em áreas onde as coisas são empiricamente verdadeiras, como matemática e ciências”, disse Dylan Patel, analista-chefe da empresa de pesquisa SemiAnalysis, que acompanha de perto a ascensão das tecnologias de IA. “As humanidades e as artes, os problemas morais e filosóficos são muito mais difíceis.”
Pessoas como Altman dizem que estas novas técnicas continuarão a impulsionar a tecnologia. Mas se o progresso atingir um patamar, as implicações poderão ser de longo alcance, mesmo para a Nvidia, que se tornou uma das empresas mais valiosas do mundo graças ao boom da IA.
Durante uma ligação com analistas no mês passado, Huang foi questionado sobre como a empresa estava ajudando os clientes a superar uma possível desaceleração e quais poderiam ser as repercussões para seus negócios. Ele disse que as evidências mostram que ainda há ganhos, mas que as empresas também estão testando novos processos e técnicas em chips de IA.
“Como resultado disso, a procura pela nossa infra-estrutura é realmente grande”, disse Huang.
Embora esteja confiante nas perspectivas da Nvidia, alguns dos maiores clientes da empresa reconhecem que devem se preparar para a possibilidade de a IA não avançar tão rapidamente quanto o esperado.
“Tivemos que lidar com isso. Isso é real ou não? disse Rachel Peterson, vice-presidente de data centers da Meta. “É uma ótima questão por causa de todos os dólares que estão sendo investidos nisso de forma generalizada.” NYTIMES
Juntar Canal Telegram da ST e receba as últimas notícias de última hora.
