Pensando Machine Lab quer tornar os modelos de IA mais consistentes

Eu estava muito interessado no que o laboratório de máquinas pensantes de Mira Murati está construindo por conta própria. Fundos de sementes de US $ 2 bilhões Uma equipe All-Star de ex-pesquisadores do Openai que participaram do laboratório. em Postagem do blog O laboratório de pesquisa de Murati, divulgado na quarta -feira, viu a criação de um dos projetos do mundo, um modelo de IA.

Uma postagem no blog de pesquisa intitulada “derrota não decisiva na inferência de LLM” tenta desbloquear as causas principais do que introduz a aleatoriedade nas respostas do modelo de IA. Por exemplo, fazer chatgpt com a mesma pergunta várias vezes pode fornecer uma ampla gama de respostas. Isso foi amplamente aceito como um fato na comunidade de IA. Os modelos de IA de hoje são considerados sistemas não determinísticos, mas isso é considerado um problema solidável.

Uma postagem escrita por Horace, pesquisadora do HEAC of Think, Machines Lab, afirma que a causa raiz da aleatoriedade dos modelos de IA é a maneira como o kernel da GPU (um pequeno programa que executa dentro do chip de computador da NVIDIA) é costurado juntos no processo de inferência (tudo se você pressionar Enter in Chatgpt). Ele sugere que o controle cuidadoso sobre essa camada de orquestração torna os modelos de IA mais determinísticos.

Ele ressalta que não apenas a criação de respostas mais confiáveis ​​para empresas e cientistas, mas também a obtenção de modelos de IA para gerar respostas reproduzíveis também pode melhorar o treinamento de aprendizado de reforço (RL). RL é o processo de recompensar os modelos de IA para respostas corretas, mas se todas as respostas forem um pouco diferentes, os dados serão um pouco barulhentos. Segundo ele, criar uma resposta do modelo de IA mais consistente pode tornar todo o processo RL “suave”. Pensando Machines Lab disse aos investidores que planejam usar RL Personalize modelos de IA para empresasinformações relatadas anteriormente.

Murati, ex -diretor de tecnologia da Openai, disse em julho que o primeiro produto do Laboratório de Máquinas de Pensagem será divulgado. Foi anunciado nos próximos mesese isso será “útil para pesquisadores e startups que desenvolvam modelos personalizados”. Ainda não se sabe o que é o produto ou se a técnica deste estudo será usada para gerar mais respostas reprodutíveis.

Pensando Laboratório de Máquina também diz que é um plano Eu publico postagens de blog com frequênciacodificar e “outras informações sobre pesquisa sobre esforços para não apenas beneficiar o público, mas também melhorar nossa própria cultura de pesquisa”. Este post, o primeiro da nova série de blogs da empresa chamada “Connectionism”, parece fazer parte desse esforço. O Openai também se comprometeu a abrir a pesquisa quando foi fundada, mas à medida que a empresa ficou mais fechada. Verificaremos se o laboratório de Murati é fiel a essa afirmação.

Os blogs de pesquisa oferecem um vislumbre raro em uma das startups de IA mais secretas do Vale do Silício. Embora não revele exatamente para onde a tecnologia está indo, mostra que o Laboratório de Máquinas de Pensamento está enfrentando alguns dos maiores problemas com as fronteiras da IA ​​Research. O teste real é se o Laboratório de Máquinas de Pensagem pode resolver esses problemas e criar um produto em torno da pesquisa para justificar sua avaliação de US $ 12 bilhões.