Esta startup de chips acaba de arrecadar US$ 135 milhões em uma aposta de que o maior gargalo da IA ​​não é a computação – é a memória

Cada vez que você faz uma pergunta ao ChatGPT, sua solicitação aciona uma corrida de retransmissão de dados. As informações saem da memória, passam por uma CPU para pré-processamento, viajam para uma GPU para computação pesada e depois retornam – e toda essa jornada se repete para cada palavra que a IA gera.

O gargalo é estrutural – significa passar por alguns dos chips mais caros e que consomem muita energia do setor em cada solicitação. Essa ineficiência é exatamente o que XCENAuma startup com escritórios na Coreia do Sul e nos EUA, está tentando resolver. A startup de quatro anos projetou um chip que coloca os recursos de computação muito mais próximos da DRAM – os chips de memória rápidos e de curto prazo que armazenam dados que um processador está usando ativamente – permitindo que operações rotineiras de dados sejam tratadas perto da memória, sem as dispendiosas viagens de ida e volta entre CPUs, GPUs e memória.

Se funcionar em grande escala, as implicações para os custos da infraestrutura de IA poderão ser significativas, o que explica em grande parte o entusiasmo dos investidores em todo o país. Na verdade, a XCENA acaba de arrecadar US$ 135 milhões em uma Série B com uma avaliação de US$ 570 milhões, elevando seu total arrecadado para US$ 185 milhões.

O CEO da XCENA, Jin Kim, cofundou a startup em 2022 ao lado do CTO Dohun Kim e do CPO Harry Juhyun Kim, todos veteranos da Samsung e SK Hynix, os gigantes da memória que fornecem chips que alimentam as GPUs da Nvidia. “CPUs e GPUs ficaram mais inteligentes ao longo das décadas. A memória nunca ficou. A XCENA quer mudar isso”, disse Kim em entrevista ao TechCrunch. “O recente aumento nos preços da memória e dos estoques relacionados aponta para uma mudança mais ampla na infraestrutura de IA em direção a arquiteturas centradas na memória”, acrescentou. (Este mês, as três empresas que dominam o mercado global de chips de memória – Samsung, SK Hynix e Micron – ultrapassaram, cada uma, uma avaliação de um trilhão de dólares pela primeira vez.)

A XCENA está apostando seus negócios na tese de que “a inferência não é apenas um problema de computação; é cada vez mais um problema de dimensionamento de memória”, disse Kim.

O chip da XCENA, o MX1, se conecta à CPU através do CXL (Compute Express Link) – essencialmente uma via expressa dedicada entre o processador e a memória – processando dados antes que eles precisem sair do módulo de memória. Ele traz computação para os dados, e não o contrário. A empresa afirma que o que costumava exigir 10 servidores poderia funcionar em apenas um.

“Embora as GPUs sejam excelentes na multiplicação de matrizes – a matemática pesada por trás do treinamento de modelos de IA – grande parte da orquestração de dados circundante, incluindo pré-processamento, gerenciamento de cache KV (o sistema que armazena o contexto de conversação anterior para que um modelo não precise reprocessá-lo) e cache de dados, ainda é executado em CPUs. Nosso chip lida com essas tarefas diretamente dentro do próprio módulo de memória”, disse Kim.

A procura por soluções de memória aumentou desde o segundo semestre do ano passado e a empresa acredita que o momento está a seu favor.

As conversas com vários fornecedores globais de memória estão em estágio inicial, embora Kim tenha se recusado a nomeá-los. Os clientes ideais da empresa são hiperscaladores que gastam dezenas de bilhões por ano em infraestrutura de IA, onde mesmo um pequeno ganho na eficiência da memória pode significar centenas de milhões em economias.

O MX1 ainda é um protótipo. Os chips de produção em massa estão programados para sair das linhas de fundição da Samsung até o final de 2026, com a empresa esperando gerar receita a partir de 2027.

Enquanto os fabricantes de unidades de processamento neural (NPU) competem para desafiar a Nvidia nas cargas de trabalho de treinamento, a XCENA tem como alvo a camada de uso intensivo de memória que fica por baixo de tudo isso.

Os rivais mais próximos da XCENA incluem Astera Labs e Marvell, ambas empresas listadas na Nasdaq que trabalham na conectividade de memória de próxima geração. A Marvell é uma empresa grande e estabelecida que já trabalha no mesmo espaço, disse Kim, acrescentando que o diferencial se resume à propriedade intelectual. “Temos milhares de núcleos”, disse Kim. Com base em especificações públicas, a abordagem da Marvell depende de um punhado de núcleos de uso geral, em comparação.

Esses núcleos são construídos em RISC-V – um modelo de design de chip de código aberto – e otimizados especificamente para processamento de dados, com cada núcleo deliberadamente mantido pequeno e eficiente. Além dos próprios núcleos, a XCENA projeta sua própria hierarquia de memória interna, barramento de interconexão e controlador DRAM – um nível de integração vertical que a maioria das empresas de chips, incluindo rivais maiores, normalmente terceiriza.

As empresas de capital de risco Altinum e IMM Investment sediadas em Seul co-lideraram a rodada da Série B, juntamente com a Corstone Asia e os investidores existentes SBI Investment e Mirae Asset Capital. A empresa, que tem mais de 90 funcionários em escritórios em Pangyo, um centro tecnológico fora de Seul, e em Sunnyvale, também está em conversações com investidores internacionais sobre financiamento adicional.