Por que os primeiros financiadores de GPU estão recorrendo a chips de inferência em um negócio de US$ 400 milhões

General Compute, uma startup de nuvem de inferência de IA, conseguiu um empréstimo de US$ 400 milhões da Upper90, uma empresa de investimento em tecnologia. Pode ser o primeiro acordo a colocar chips específicos de inferência como garantia – chips construídos para executar modelos de IA já treinados de forma rápida e eficiente, em vez dos chips mais caros usados ​​para construir os modelos em primeiro lugar.

O financiamento é o sinal mais recente de que os mercados estão a responder às preocupações sobre o preço das ferramentas e tokens de IA, recorrendo a infra-estruturas que executam modelos de código aberto mais baratos do que os mais recentes LLMs de laboratórios de fronteira.

Fundada pelo CEO Finn Puklowski, General Compute arrecadou US$ 15 milhões rodada de sementes em maio para construir uma neonuvem de inferência em torno do silício da SambaNova, uma fabricante de chips apoiada pela Intel. (As neoclouds são desenvolvidas especificamente para cargas de trabalho de IA, ao contrário da infraestrutura de uso geral oferecida por hiperescaladores tradicionais como AWS ou Azure.)

Os chips SN50 da empresa são projetados para inferência. Eles economizam energia e não exigem sistemas caros de refrigeração líquida, o que significa que podem ser implantados mais rapidamente do que GPUs em uma variedade maior de data centers. A General Compute afirma que os novos chips fornecerão inferência 16 vezes mais rápida do que nuvens baseadas em GPU.

O desafio é conseguir muitos desses chips, especialmente quando você é uma empresa totalmente nova.

O cofundador e CEO da Upper90, Billy Libby, um ex-trader quantitativo do Goldman Sachs, tinha um manual para isso: em 2021, sua empresa financiou compras de GPU pela Crusoe, a startup de data center com foco em energia, que ele acredita ter sido o primeiro empréstimo contra o valor de chips avançados.

Os credores tradicionais evitaram tais acordos na época devido aos riscos e incertezas em torno da depreciação da GPU. Mas à medida que a CoreWeave transformou os empréstimos garantidos por chips num modelo de negócio e depois na base de uma IPO de grande sucesso, este tipo de financiamento tornou-se comum.

“Quando financiamos as GPUs Nvidia como o primeiro grupo a fazer isso, o mercado era ineficiente”, disse Libby ao TechCrunch. “Poderíamos realmente montar algo como participantes iniciais e ser compensados ​​pelo risco.”

Agora que as GPUs são comparativamente bem compreendidas e talvez comprado em excessoa Upper90 está recorrendo a empresas como a General Compute para aproveitar a próxima onda do boom da IA. “Achamos que os modelos de código aberto serão importantes e procuramos um player no ano passado que estivesse em inferência”, disse Libby. “Nem todo mundo precisa de um supercomputador, mas precisa de inferência e IA.”

Essa tese tem se fortalecido, com empresas que fornecem acesso a modelos abertos, como OpenRouter e Fireworks, levantando novas rodadas com avaliações enormes. Novos modelos como o K3 de Kimi, lançados recentemente nesta semana, provaram competir com os últimos lançamentos da Anthropic e OpenAI em benchmarks de codificação. E novos fabricantes de chips como Groq e Cerebras atraíram o interesse tanto de adquirentes quanto de mercados públicos.

A capacidade da General Compute de acessar chips fora do ecossistema da Nvidia é importante pelo mesmo motivo. A TensorWave, outra empresa de infraestrutura de IA, está fazendo aposta semelhante em parceria com a AMD. À medida que surgem mais alternativas à Nvidia, os provedores de computação que não estão presos aos acordos da Nvidia podem ter uma vantagem em fornecer inferência econômica.

“Há um monte de chips que estão começando a escalar e que têm (custo total de propriedade) incrível, ou que podem operar muito mais rápido que a Nvidia, mas não há muitos compradores para eles”, disse Puklowski. “Ao nos unirmos à Upper90, isso não significa apenas ‘uma startup legal conseguiu algum dinheiro para comprar alguns computadores’. Tipo, este é o primeiro sinal de que o capital se organiza e da fragmentação do domínio monopolista da Nvidia.”