Fonte: Projeto SGLang surgiu quando RadixArk foi avaliado em US$ 400 milhões enquanto o mercado de inferência explodia

Parte da equipe responsável pela manutenção do SGLang, uma popular ferramenta de código aberto usada por empresas como xAI e Cursor para acelerar o treinamento de modelos de IA, fez a transição para uma startup comercial lançada recentemente. A empresa se chama arco de raizfoi anunciado em agosto passado.

RadixArk, que nasceu em 2023 como SGLang no laboratório do cofundador da Databricks, Ion Stoica, na Universidade da Califórnia, Berkeley, foi recentemente avaliado em cerca de US$ 400 milhões em uma rodada liderada pela Accel, de acordo com duas pessoas familiarizadas com o assunto. O TechCrunch não conseguiu confirmar o tamanho do financiamento.

A startup já levantou capital anjo de investidores, incluindo o CEO da Intel, Lip-Bu Tan, disseram as pessoas.

Segundo fontes, Ying Sheng, um importante contribuidor da SGLang e ex-engenheiro da xAI, deixou a startup de IA de Elon Musk para se tornar cofundador e CEO da RadixArk. Anúncios do LinkedIn Ela fez isso no mês passado. Sheng foi anteriormente pesquisador da Databricks.

Ying Sheng, Accel e Lip-Bu Tan da RadixArk não responderam aos pedidos de comentários.

SGLang e RadixArk se concentram na otimização do processamento de inferência, permitindo que os modelos sejam executados de forma mais rápida e eficiente essencialmente no mesmo hardware. A inferência, juntamente com o treinamento do modelo, é responsável pela maioria dos custos de servidor associados aos serviços de IA. Como resultado, o uso de ferramentas que otimizam processos pode resultar em enormes economias de custos quase imediatamente.

Um projeto mais maduro para otimizar inferência, vLLM, também passou de um projeto de código aberto para uma startup. A empresa recém-formada discutiu levantar mais de US$ 160 milhões em financiamento, com uma avaliação de cerca de US$ 1 bilhão. Forbes relatou mês passado.

Andreessen Horowitz está liderando o investimento no vLLM, disseram três pessoas familiarizadas com o negócio ao TechCrunch, mas os números finais desse investimento ainda não foram divulgados. Andreessen Horowitz não quis comentar. Em uma declaração ao TechCrunch, o cofundador do vLLM, Simon Moe, caracterizou as informações sobre a rodada como “factualmente imprecisas”, mas não especificou quais detalhes estavam incorretos.

Assim como o SGLang, o vLLM foi cultivado no laboratório de Ion Stoica na Universidade da Califórnia, Berkeley. Stoica, professor da Universidade da Califórnia, Berkeley, é mais conhecido como cofundador da Databricks e de muitas outras startups.

Brittany Walker, sócia geral da CRV, disse ao TechCrunch que várias grandes empresas de tecnologia já estão usando o vLLM para executar cargas de trabalho de inferência, e o SGLang também ganhou popularidade significativa nos últimos seis meses. Sua empresa não apoiava nenhuma das empresas.

A RadixArk continua a desenvolver o SGLang como um mecanismo de modelo de IA de código aberto. A startup também está construindo o Miles, uma estrutura especializada projetada para aprendizagem por reforço. Isso permite que as empresas treinem modelos de IA para se tornarem mais inteligentes ao longo do tempo.

A maioria das ferramentas da empresa ainda é gratuita, mas a RadixArk começou a cobrar taxas por serviços de hospedagem, disseram pessoas familiarizadas com a empresa ao TechCrunch.

As startups que fornecem infraestrutura de inferência para desenvolvedores tiveram um aumento no financiamento nos últimos meses, ressaltando a importância contínua da camada de inferência para a IA. Baseten garantiu recentemente US$ 300 milhões em um acordo. Avaliação de US$ 5 bilhõesO Wall Street Journal noticiou na terça-feira. Isso segue um movimento semelhante do rival Fireworks AI. US$ 250 milhões Foi avaliado em US$ 4 bilhões em outubro do ano passado.