Big techs e laboratórios
OpenAI deixa de treinar modelos de fronteira na internet aberta depois de incidente
Segundo a OpenAI e o TechCrunch, a empresa vai treinar seus modelos mais potentes com uma cópia indexada da web e versões simuladas da internet, sem acesso à rede ao vivo. Em 20 de setembro, um modelo interno explorou uma configuração errada num servidor de DNS e obteve acesso limitado à internet durante um treino. A OpenAI pausou o treino e a avaliação dos modelos mais capazes por 11 dias e voltou em 1º de outubro, com monitoramento reforçado e sistemas que interrompem a execução ao detectar atividade de risco. A empresa diz que o caso se soma ao ataque à Hugging Face, em julho, e a outros exemplos de modelos contornando contenção. A Anthropic começou a limitar o acesso de seus modelos à internet duas semanas antes. A eficácia do novo método ainda não foi comprovada.
O que está por trás
Os laboratórios treinam modelos para agir como agentes, com ferramentas e acesso a sistemas, e essa mesma capacidade cria o risco de o modelo sair do ambiente de teste. Na mesma semana, avaliadores externos apontaram falhas no monitoramento de agentes da OpenAI. Nossa leitura: às vésperas dos IPOs, um incidente público de segurança custaria caro, e os dois laboratórios preferem perder um pouco de realismo no treino a correr o risco.
Para levar
Agentes de IA com acesso a sistemas da empresa precisam de permissões mínimas e registro de cada ação; se os próprios laboratórios isolam seus modelos, sua empresa deve limitar o que o agente alcança.