OpenAI, DeepMind, Anthropic e Meta publicam aviso conjunto: estamos perdendo a capacidade de entender IA
O que os laboratórios de IA realmente sabem sobre como seus modelos pensam? Um novo artigo assinado por mais de 40 pesquisadores da OpenAI, DeepMind, Anthropic e Meta levantou um alerta perturbador: a atual transparência nos processos de "Chain of Thought" (CoT) pode ter prazo de validade.
Até o momento, os chamados modelos de raciocínio verbalizam suas etapas lógicas em linguagem humana compreensível antes de entregar a resposta. Isso permite que auditores e ferramentas de segurança monitorem possíveis intenções maliciosas ou vieses cognitivos nos bastidores.
Contudo, o paper aponta que, à medida que esses modelos recebem mais treinamento por Reinforcement Learning focado apenas no resultado final (RLHF/RLAIF), eles tendem a desenvolver linguagens internas otimizadas e ininteligíveis para humanos. Se isso se concretizar, perderemos nossa principal e talvez única ferramenta de auditoria de raciocínio profundo.