A startup francesa ZML lança produto gratuito para acelerar a inferência em muitos chips de IA

Os dias de domínio de mercado incomparável da Nvidia ainda não acabaram, mas desafios e escolhas estão surgindo de todas as direções.

ZMLuma startup francesa de IA endossado do vencedor do Prêmio Turing, Yann LeCun, lançou inferência-software de desempenho que permite uma variedade de modelos de linguagem grande de código aberto para correr em um variedade de chips – incluindo Nvidia, AMD, TPU do Google, Apple Metal e Intel Arc.

Com ZML/LLMDo recém-lançado servidor de inferência LLM, a ambição da empresa é quebrar os silos existentes e disponibilizar diferentes chips para casos de uso de IA na velocidade máxima disponível e, às vezes, mais rápida, disse o fundador da ZML, Steeve Morin, ao TechCrunch.

À medida que a IA se integra ao nosso trabalho e à vida cotidiana, a otimização da inferência – também conhecida como processamento de prompts – tem ultrapassado modelo chovendo em importância, mas muitas vezes parece irregular nos bastidores, com barreiras de software e arquitetura que levam ao aprisionamento do fornecedor, disse Morin.

A promessa de alcançar o desempenho máximo numa variedade de chips é um feito tecnológico, mas também pode ser um factor de perturbação do mercado, no meio de receios crescentes sobre os custos relacionados com a IA.

A ZML espera fornecer às empresas e às nuvens a opção de usar uma combinação de chips, alguns dos quais podem ser menos dispendiosos ou consumir menos energia. “A ideia é devolver às pessoas o poder de criar seu próprio sistema e obter ganhos reais de eficiência que permitam a disseminação da IA”, disse Morin.

Tal suporte de software pode ajudar novos fabricantes de chips de IA, muitos dos quais são da Europa, observou Morin, citando Axelera, Frágil, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloude VSORA. Mas mais do que a sua região de origem, o que importa para ele é que a ZML possa trabalhar com eles em “coisas que nunca foram feitas antes em nenhum lugar do mundo”.

Isso não significa que Morin esteja pessimista em relação à Nvidia. Ele não éem parte devido à sua oferta existente. Ele disse ao TechCrunch que a ZML tem um bom relacionamento com a gigante dos chips de IA, que tem sido preparando-se para o surgimento da inferência.

A inferência tem sido uma área de investimento tão intenso que a tendência tem sido aclamada como “inferência corrida do ouro.” Então a ZML tem concorrentes como Basetenrecentemente avaliado em US$ 13 bilhões; Inferirdos criadores do projeto de código aberto vLLM; assim como Radix Arko empresa comercial por trás do SGLang.

Tanto o vLLM quanto o SGLang competem parcialmente com o LLMD, mas as ambições de Morin para a ZML cobrem um espectro mais amplo. “Chegamos ao ponto em que estamos co-projetando o silício”, disse ele. Ele ainda creditou a equipe enxuta de 20 pessoas da ZML como a razão pela qual a startup com sede em Paris foi capaz de avançar rapidamente, com mais lançamentos nos planos.

Também ajudou o fato de esta pequena equipe ser bem financiada para seu tamanho. Graças ao seu histórico como vice-presidente de engenharia da Zenlyque o Snapchat adquiriu por nove dígitos em 2017Morin levantou US$ 20 milhões de empresas de risco, incluindo 20VC de Harry Stebbings, >commit, AALVC, Drysdale Ventures, Kima Ventures de Xavier Niel, Kindred Capital, LocalGlobe e Puzzle Ventures.

Ao contrário do primeiro projeto público da ZML, o projeto focado em inferência Estrutura de ML lançado em 2024 e atualizado em marçoZML/LLMD não é de código aberto. Mas está sendo lançado como um produto gratuito com o objetivo de aprender sobre o uso. “Prefiro medir e (depois gerar receitas) onde for mais eficaz, sem prejudicar estupidamente o meu crescimento, porque fui demasiado ganancioso desde o início”, disse Morin.

É muito cedo para dizer quando o ZML/LLMD poderá se tornar um produto pago e como será sua adoção. Mas a tabela de capitalização da startup confirma que outros fundadores estão prestando atenção, incluindo Solomon Hykes, fundador da Dagger e Docker, Clément Delangue e Julien Chaumond da Hugging Face, bem como LeCun, agora com Laboratórios AMI. Isto também reforça a ideia de que as startups europeias de IA agora pode construir em casa. “Eu não poderia fazer ZML em nenhum outro lugar que não fosse Paris”, disse Morin.