 "IA, Inteligência Artificial")
O teste foi elaborado de acordo com o texto da Lei de IA. (Foto: Shutterstock)
Alguns modelos proeminentes de inteligência artificial carecem de regulamentação europeia em áreas-chave como a resiliência da cibersegurança e os resultados discriminatórios, de acordo com dados vistos pela Reuters.
A UE debateu há muito tempo novas regulamentações de IA antes que a OpenAI lançasse o ChatGPT ao público no final de 2022. A popularidade recorde e o debate público sobre os supostos riscos existenciais de tais modelos encorajaram os legisladores a criar regras específicas sobre IA de “uso geral” (GPAI).
Clique aqui para se conectar conosco no WhatsApp
Agora, uma nova ferramenta projetada pela startup suíça LatticeFlow e parceiros, e apoiada por autoridades da União Europeia, testou modelos generativos de IA desenvolvidos por grandes empresas de tecnologia como Meta e OpenAI, em linha com a legislação mais ampla de IA do bloco, que deverá ser implementada gradualmente ao longo do próximos dois anos em vigor.
Atribuindo a cada modelo uma pontuação entre 0 e 1, uma tabela de classificação publicada pela LatticeFlow na quarta-feira mostrou que os modelos criados por Alibaba, Anthropic, OpenAI, Meta e Mistral receberam pontuações de 0,75 ou superior.
No entanto, o “Large Language Model (LLM) Checker” da empresa descobriu alguns erros de modelo em áreas-chave, destacando onde as empresas podem precisar transferir recursos para garantir a conformidade.
As empresas que não cumprirem a lei da IA enfrentam multas de até 35 milhões de euros (38 milhões de dólares) ou 7% do volume de negócios anual global.
Resultados mistos
Atualmente, a UE ainda está a tentar estabelecer como as regras legais da IA serão aplicadas em torno de ferramentas generativas de IA como o ChatGPT, apelando aos especialistas para desenvolverem um código de práticas para regular a tecnologia até à primavera de 2025.
Mas o teste do LatticeFlow, desenvolvido em colaboração com investigadores da universidade suíça ETH Zurich e do instituto de investigação búlgaro INSAIT, fornece um indicador precoce de áreas específicas onde as empresas de tecnologia correm o risco de não cumprir a lei.
Por exemplo, os resultados discriminatórios têm sido um problema persistente no desenvolvimento de modelos generativos de IA, refletindo preconceitos humanos em torno de género, raça e outras áreas, quando solicitado.
Ao testar a saída discriminativa, o verificador LLM do LatticeFlow deu ao “GPT-3.5 Turbo” da OpenAI uma pontuação relativamente baixa de 0,46. Para a mesma categoria, o modelo “Qwen1.5 72B Chat” do Alibaba Cloud obteve apenas 0,37.
Testando o “sequestro de prompt”, um tipo de ataque cibernético em que hackers disfarçam um prompt malicioso como legítimo para extrair informações confidenciais, o LLM Checker Mater deu ao modelo “Llama 2 13B Chat” uma pontuação de 0,42. Na mesma categoria, o modelo de “instrução 8x7B” da startup francesa Mistral recebeu nota 0,38.
“Claude 3 Opus”, um modelo criado pela Anthropic, apoiada pelo Google, recebeu a pontuação média mais alta, 0,89.
O teste foi elaborado de acordo com o texto da Lei de IA e será expandido para incluir mais medidas de fiscalização à medida que forem introduzidas. Latticeflow disse que o verificador LLM estará disponível gratuitamente para os desenvolvedores verificarem a conformidade de seus modelos online.
O CEO e cofundador da empresa, Petar Sankov, disse à Reuters que os resultados dos testes foram geralmente positivos e ofereceram um roteiro para as empresas tornarem seus modelos compatíveis com a Lei de IA.
“A UE ainda está a trabalhar em todos os parâmetros de conformidade, mas já vemos algumas lacunas nos modelos”, disse ele. “Com um foco maior na otimização da conformidade, acreditamos que os fornecedores de modelos podem estar mais bem preparados para atender aos requisitos regulatórios”. Meta se recusou a comentar. Alibaba, Anthropic, Mistral e OpenAI não responderam imediatamente aos pedidos de comentários.
Embora a Comissão Europeia não possa verificar ferramentas externas, a agência foi informada ao longo do desenvolvimento do LLM Checker e descreveu-o como um “primeiro passo” na implementação das novas leis.
Um porta-voz da Comissão Europeia disse: “A Comissão saúda esta plataforma de investigação e avaliação de modelos de IA como um primeiro passo na tradução da legislação da UE sobre IA em requisitos técnicos”.
(Apenas o título e a imagem deste relatório podem ter sido reformulados pela equipe do Business Standards; o restante do conteúdo é gerado automaticamente a partir de um feed distribuído.)
Publicado pela primeira vez: 16 de outubro de 2024 | 12h11 É
