Os pesquisadores dizem que descobriram um novo método de ‘dimensionar’ ai, mas há motivos para ser cético

Os pesquisadores descobriram um novo Ai “Lei de Escala”? É isso algum zumbido nas mídias sociais sugere – mas os especialistas são céticos.

As leis de escala de IA, um conceito informal, descrevem como o desempenho dos modelos de IA melhora à medida que o tamanho dos conjuntos de dados e os recursos de computação usados ​​para treiná -los aumenta. Até cerca de um ano atrás, aumentar o “pré-treinamento”-treinando modelos cada vez mais graves em conjuntos de dados cada vez maiores-era de longe a lei dominante, pelo menos no sentido de que a maioria dos laboratórios de IA da fronteira a abraçava.

O pré-treinamento não desapareceu, mas duas leis de escala adicionais, escala pós-treinamento e escala de tempo de testesurgiram para complementá -lo. A escala pós-treinamento está essencialmente ajustando o comportamento de um modelo, enquanto a escala de tempo de teste implica aplicar mais computação à inferência-ou seja, modelos de execução-para dirigir uma forma de “raciocínio” (ver: modelos como R1).

Os pesquisadores do Google e da UC Berkeley propuseram recentemente em um papel O que alguns comentaristas online descreveram como uma quarta lei: “Pesquisa em tempo de inferência”.

A pesquisa em tempo de inferência tem um modelo gerar muitas respostas possíveis para uma consulta em paralelo e, em seguida, selecione o “melhor” do grupo. Os pesquisadores afirmam que pode aumentar o desempenho de um modelo de um ano, como Gemini 1.5 Pro do Googlea um nível que supera o OpenAi O1-prevista Modelo de “raciocínio” sobre benchmarks de ciência e matemática.

Nosso artigo se concentra neste eixo de pesquisa e em suas tendências de escala. Por exemplo, apenas amostrando aleatoriamente 200 respostas e auto-verificador, Gemini 1.5 (um antigo modelo de 2024!) Bate o O1-Preview e se aproxima de O1. Isso é sem verificadores de verdade, RL ou de verdade. pic.twitter.com/hb5fo7ifnh

– Eric Zhao (@ericzhao28) 17 de março de 2025

“(B) Y apenas amostrando aleatoriamente 200 respostas e auto-verificador, Gemini 1.5-um antigo modelo de 2024-vence a previsão de O1 e se aproxima da O1”, Eric Zhao, um pesquisador de doutorado do Google e um dos co-autores do artigo, escreveu em um série de postagens em x. “A mágica é que a auto-verificação naturalmente se torna mais fácil em escala! Você esperaria que escolher uma solução correta se torne mais difícil quanto maior o seu conjunto de soluções, mas o oposto é o caso!”

Vários especialistas dizem que os resultados não são surpreendentes, no entanto, e que a pesquisa em tempo de inferência pode não ser útil em muitos cenários.

Matthew Guzdial, pesquisador de IA e professor assistente da Universidade de Alberta, disse ao TechCrunch que a abordagem funciona melhor quando há uma boa “função de avaliação” – em outras palavras, quando a melhor resposta para uma pergunta pode ser facilmente verificada. Mas a maioria das consultas não é tão cortada e secar.

“(Se) F Não podemos escrever código para definir o que queremos, não podemos usar a pesquisa (em tempo de inferência)”, disse ele. “Para algo como a interação em linguagem geral, não podemos fazer isso (…) geralmente não é uma ótima abordagem para realmente resolver a maioria dos problemas”.

Mike Cook, pesquisador do King’s College London, especializado em IA, concordou com a avaliação da Guzdial, acrescentando que destaca a lacuna entre o “raciocínio” no sentido da palavra da palavra e nossos próprios processos de pensamento.

“(Pesquisa em tempo de inferência) não” eleva o processo de raciocínio “do modelo”, disse Cook. “(Isto é) é apenas uma maneira de trabalhar em torno das limitações de uma tecnologia propensa a cometer erros com muito confiança (…) intuitivamente se o seu modelo cometer um erro 5% do tempo, verificando 200 tentativas no mesmo problema deve facilitar esses erros.”

Essa pesquisa no tempo de inferência pode ter limitações certamente será notícias indesejadas para um setor de IA que deseja ampliar o modelo de “raciocínio” com eficiência. Como co-autores da nota de papel, os modelos de raciocínio hoje podem acumular milhares de dólares em computação em um único problema de matemática.

Parece que a busca por novas técnicas de escala continuará.