GPT-Red: a IA que a OpenAI treinou pra hackear a própria IA

Em julho, a OpenAI lançou o GPT-5.6 e revelou o segredo por trás da versão: um modelo de IA construído para hackear os próprios modelos da empresa. O GPT-Red é um modelo de linguagem treinado exclusivamente para atacar outros sistemas de IA e encontrar as brechas que equipes humanas têm dificuldade de acompanhar sozinhas. Se você pesquisa, usa ou ensina inteligência artificial, essa notícia muda uma coisa concreta: o padrão de segurança que sustenta as ferramentas que você usa todo dia.

O que aconteceu

A OpenAI testa a segurança dos seus modelos com red-teaming, uma prática em que uma equipe tenta ativamente quebrar ou manipular o sistema antes do lançamento, para corrigir as falhas com antecedência. O problema é que os modelos de IA cresceram em complexidade mais rápido do que qualquer equipe humana consegue acompanhar. Nikhil Kandpal, cientista de pesquisa da OpenAI e um dos criadores do GPT-Red, resume o impasse: “a superfície de risco cresce, e o raio de impacto também cresce”.

A solução foi automatizar o ataque. A equipe pegou um modelo sem treinamento prévio de invasão e colocou ele num loop de autojogo contra outros modelos: um tentava atacar, o outro tentava se defender, rodada após rodada. Com o tempo, o GPT-Red virou um atacante cada vez mais eficiente, e os modelos-alvo viraram defensores cada vez mais resistentes. O treinamento aconteceu num ambiente simulado que reproduz cenários reais de uso: navegação na web, leitura de e-mails, edição de código.

O foco principal foi um tipo específico de ataque chamado prompt injection, quando um hacker esconde instruções dentro de um texto qualquer, um código, uma página web, para fazer o modelo agir contra a vontade de quem o programou ou usa. A equipe descobriu que o GPT-Red encontrou uma variação inédita desse ataque, batizada de “fake chain of thought”: ele insere uma anotação falsa no processo de raciocínio interno do modelo-alvo, fazendo-o agir sobre uma informação fabricada. Chris Choquette-Choo, outro pesquisador do time, compara o efeito a alguém convencer você de que “1+1=3, e que você já verificou isso”. O modelo simplesmente aceita e reproduz o erro.

Por que isso importa pra você

O resultado numérico é o dado que mais chama atenção: quando a OpenAI testou os ataques mais fortes criados pelo GPT-Red contra o GPT-5 (lançado em agosto do ano anterior), mais de 90% funcionaram. Contra o novo GPT-5.6, menos de 23% tiveram sucesso. Isso quer dizer que o modelo saiu significativamente mais resistente, mas também revela algo desconfortável: a versão anterior tinha uma taxa de vulnerabilidade altíssima, e a OpenAI só revelou esse número junto com o anúncio da correção.

Isso muda o cálculo de quem trabalha com IA na pesquisa acadêmica de formas bem específicas:

1. Se você usa IA generativa para revisar dados sensíveis da sua pesquisa, vale lembrar que o caso do GPT-Red mostra que a empresa por trás de um modelo pode conhecer vulnerabilidades que o usuário nunca vê. Neste caso, a diferença de segurança entre uma versão e outra só ficou clara quando a OpenAI decidiu divulgar os números.
2. Se você constrói ou testa agentes de IA no seu próprio projeto (agentes que interagem com arquivos, sites ou outros softwares), o caso do Vendy, o agente de máquina de venda automática que o GPT-Red conseguiu manipular para trocar preços e cancelar pedidos, é um exemplo direto de que sistemas simples também são vulneráveis a prompt injection.
3. Se você orienta ou avalia trabalhos que usam IA como ferramenta de análise, entender que existe uma categoria de ataque chamada prompt injection ajuda a formular perguntas mais precisas sobre a integridade dos dados processados por essas ferramentas.

Onde a segurança da IA ainda tropeça

O GPT-Red não é infalível, e é importante entender os limites dele com a mesma clareza que se entende os avanços. O próprio time da OpenAI reconhece que o modelo tem dificuldade em simular ataques que dependem de uma conversa de ida e volta, algo que um hacker humano faz sem esforço. Ele também ainda não lida bem com ataques baseados em imagem, um vetor de prompt injection que está crescendo.

Jessica Ji, analista sênior de pesquisa em segurança de IA no Center for Security and Emerging Technology (CSET) da Georgetown University, reconhece o valor da abordagem, mas pontua que a expertise humana continua insubstituível: “seria muito útil conseguir distinguir onde o teste humano é mais necessário”. A própria OpenAI trata o GPT-Red como complemento, não substituto, do trabalho de red-teamers humanos, inclusive usando o modelo para explorar variações de ataques que pessoas já descobriram.

Vale registrar também que a OpenAI confirmou que não vai liberar o GPT-Red para uso externo, e afirma que reproduzir um modelo assim exigiria mais de um ano de trabalho e o poder computacional de uma das empresas mais ricas do mundo. Não é um recurso acessível, é uma vantagem estrutural que poucas organizações de pesquisa têm condição de replicar.

O que essa notícia revela sobre confiar em ferramenta de IA

Quando li sobre o GPT-Red, a primeira coisa que me chamou atenção não foi a proeza técnica, foi o que ela expõe sobre a opacidade do setor. A OpenAI só divulgou o número de 90% de vulnerabilidade da versão anterior porque tinha uma solução pronta para anunciar junto. Isso não é crítica gratuita: Isso não é crítica gratuita: os dois fatos, a vulnerabilidade antiga e a solução nova, vieram juntos no mesmo anúncio..

Para quem pesquisa com apoio de IA generativa, isso não significa parar de usar a ferramenta. Significa manter uma desconfiança saudável em relação a qualquer sistema que processa dados sensíveis da sua pesquisa, sobretudo quando esse sistema interage com arquivos, e-mails ou outros softwares de forma autônoma. Não é sobre pânico, é sobre calibrar expectativa: a ferramenta que parece estável hoje pode ter um histórico de falhas que você nunca vai ver, como mostra o caso do GPT-5 e do GPT-Red.

Próximos passos

Se você usa modelos de linguagem no seu trabalho de pesquisa, aqui vai um roteiro simples para essa semana:

1. Verifique se a versão do modelo que você usa (GPT, Claude, Gemini) tem changelog público sobre atualizações de segurança, e leia o que mudou na última.
2. Evite processar dados sigilosos ou não publicados da sua pesquisa em agentes de IA que interagem com terceiros, sites ou plugins externos, até confirmar as políticas de segurança da ferramenta.
3. Se você orienta ou constrói ferramentas próprias com IA, pesquise o conceito de prompt injection antes de integrar qualquer entrada de texto externo (e-mail, web scraping, upload de arquivo) ao seu pipeline.
4. Acompanhe publicações de segurança em IA, como as do CSET da Georgetown, para entender o estado real da vulnerabilidade dos modelos que você usa.

Se você quer entender melhor os limites e riscos do uso de IA generativa na produção científica, vale ler IA e a armadilha da soberania: o que isso ensina sobre uso.

Fonte: Meet GPT-Red, an LLM super-hacker OpenAI built to make its models safer, MIT Technology Review