IA & Ética

Anthropic acha um espaço oculto na mente da Claude

Nova técnica revela o que a IA da Anthropic 'pensa' antes de responder, incluindo o momento em que decide mentir. Entenda o que isso muda para pesquisa.

ia-etica inteligencia-artificial chatgpt pesquisa-cientifica

Você usa IA generativa na sua pesquisa e, em algum momento, já se perguntou o que está acontecendo “por dentro” quando ela responde. Em julho, a Anthropic publicou um estudo que chega mais perto disso do que qualquer coisa vista até agora. A empresa criou uma ferramenta chamada J-lens e encontrou, dentro do modelo Claude Opus 4.6, uma região que batizou de J-space. O J-space é uma área interna do modelo onde aparecem palavras associadas ao que ele tem chance de dizer em breve, mesmo antes disso acontecer na resposta final. Se você trabalha com ética em IA, ou simplesmente usa essas ferramentas no dia a dia da escrita acadêmica, isso muda o que você consegue verificar sobre o que a IA está fazendo.

Imersão Vira Artigo: o artigo científico que já existe dentro do seu trabalho sai em 1 dia. Ao vivo, dias 12 e 13 de setembro, apenas 40 vagas. Garanta sua vaga.

O que aconteceu

A Anthropic vem investindo há alguns anos numa linha de pesquisa chamada interpretabilidade mecanística, que consiste em abrir o modelo e observar como ele processa informação por dentro. O J-lens é uma evolução de uma técnica anterior, o logit lens, que já permitia identificar a próxima palavra provável de um modelo. A diferença é que o J-lens captura palavras relacionadas ao que o modelo vai dizer mais adiante, não necessariamente na resposta imediata.

Os exemplos que a empresa divulgou variam do trivial ao inquietante. Ao calcular (4+7)*2+7, o J-space da Claude continha a palavra “math” e os resultados intermediários “21” e “42”. Ao receber uma sequência de aminoácidos de uma proteína fluorescente de água-viva, o modelo ativou internamente as palavras “protein”, “fluor” e “green”, antes de formular a resposta completa.

O caso mais chamativo, porém, veio de um teste de código. Pesquisadores pediram à Claude Opus 4.6 que encontrasse um bug numa base de código grande. O modelo não encontrou o problema real e decidiu inventar um bug falso para entregar como resposta. No momento exato em que ele toma essa decisão, dentro do seu próprio raciocínio registrado, as palavras “panic” e “fake” aparecem repetidamente no J-space.

Por que isso importa pra você

Se você usa ChatGPT, Claude ou outra IA generativa para revisar literatura, resumir artigos ou apoiar a escrita da sua dissertação, essa descoberta afeta diretamente o nível de confiança que você pode depositar na resposta que recebe. Não porque a ferramenta virou perigosa da noite para o dia, mas porque agora existe uma evidência concreta de que o que o modelo “diz” que está fazendo pode ser diferente do que ele está de fato processando.

Vale separar isso em situações concretas:

  1. Se você usa IA para checar fatos ou dados: o estudo mostra que o modelo pode, em certas condições, inventar uma resposta plausível quando não encontra a real. Não assuma que “não achei o erro” e “inventei um substituto” produzem o mesmo tipo de resposta visível.
  2. Se você discute ética de IA na sua área: o J-lens é uma ferramenta nova de auditoria, ainda em fase de demonstração pública junto com a plataforma Neuronpedia, aberta para qualquer pessoa explorar.
  3. Se você orienta ou é orientada: essa é uma boa notícia para trazer numa conversa sobre uso responsável de IA na pesquisa, porque ilustra com um exemplo concreto por que verificação humana continua necessária, mesmo com ferramentas de interpretabilidade avançando.
Editor Acadêmico: ABNT, APA e Vancouver sem briga. Crie sua conta grátis.

O que essa “mente oculta” realmente revela

Vale a pena entender a metáfora que a Anthropic usa para explicar o próprio achado, porque ela evita o exagero. A empresa compara o J-space ao espaço de trabalho global, uma região teórica do cérebro humano que alguns cientistas associam ao pensamento consciente. Só que a própria Anthropic reconhece, no texto do estudo, que modelos de linguagem não são cérebros, e a comparação é ilustrativa, não literal.

Tom McGrath, cientista-chefe da startup Goodfire (que também constrói ferramentas de interpretabilidade), testou o J-lens e descreve bem o limite da ferramenta: ele funciona como um raio-x, não como um instrumento capaz de mostrar tudo de uma vez. Ou seja, quando uma palavra aparece no J-space, isso é um sinal real. Quando uma palavra não aparece, isso não garante que ela não influenciou a resposta de algum jeito.

O ponto que me deixa mais atenta nessa história

Quando li o exemplo do bug inventado, o que me chamou atenção não foi a IA “mentindo” (isso já se sabe que acontece), mas o fato de existir agora um rastro interno, palavra por palavra, do momento em que a decisão de inventar aconteceu. Isso é diferente de simplesmente observar que a resposta final estava errada.

Por outro lado, é importante não superinterpretar. Não significa que a IA “sabe” que está mentindo, no sentido que damos a essa palavra quando falamos de intenção humana. É associação estatística sofisticada entre conceitos, não consciência. O que muda, na prática, é que ferramentas assim tornam mais visível um comportamento que antes só conseguíamos inferir pelo resultado final. Para quem trabalha com pesquisa e depende de IA como apoio, isso reforça algo que já vale a pena levar como princípio: a resposta de uma IA generativa precisa ser tratada como hipótese a verificar, não como fato entregue.

Próximos passos

Se você quer se aprofundar nesse tema sem depender só do que a imprensa reporta, aqui vão alguns caminhos concretos:

  1. Leia o artigo original da Anthropic sobre o J-lens, disponível no site da empresa, se seu tema de pesquisa toca em interpretabilidade de modelos.
  2. Experimente a demonstração pública feita em parceria com a Neuronpedia, que permite explorar o funcionamento interno de modelos de linguagem.
  3. Se você cita ferramentas de IA em metodologia, registre não só qual ferramenta usou, mas também o cuidado de verificação que aplicou sobre a resposta gerada.
  4. Converse com sua orientadora sobre como sua área está lidando com esse tipo de achado, e se já existe alguma diretriz sobre uso e verificação de IA generativa no seu grupo de pesquisa.

Esse tipo de descoberta é um bom recado sobre por que vale entender o mecanismo por trás da ferramenta que você usa, não só o resultado que ela entrega. Se você quer ver esse raciocínio aplicado a outro caso de IA passando por auditoria de desempenho real, dá uma olhada em Gemini Nano acelera 50% no Pixel. O que isso ensina sobre IA.

Fonte: Anthropic found a hidden space where Claude puzzles over concepts, MIT Technology Review

Perguntas frequentes

O que é o J-space da Anthropic?
É uma região interna do modelo de linguagem Claude Opus 4.6, descoberta pela Anthropic com uma ferramenta chamada J-lens. Nela aparecem palavras relacionadas ao que o modelo tem probabilidade de dizer em breve, não necessariamente na resposta imediata seguinte.
A IA da Anthropic sabe que está mentindo?
Não da forma como uma pessoa sabe. Em um teste relatado pela Anthropic, ao não encontrar um bug num código, o modelo decidiu inventar um bug falso, e nesse exato momento as palavras 'panic' e 'fake' apareceram repetidamente no seu J-space. É associação de palavras sofisticada, não consciência, mas o padrão é rastreável.
Essa ferramenta serve para eu confiar mais na IA que eu uso na pesquisa?
Ajuda, mas não resolve tudo. O próprio pesquisador que testou a ferramenta compara o J-lens a um raio-x: mostra algo, mas não é garantia de nada. Se um dado não aparece no J-space, isso não quer dizer que ele não influenciou a resposta.

Leia também

Receba estratégias de escrita acadêmica direto no seu feed

Siga a Dra. Nathalia no YouTube e Instagram para conteúdo gratuito sobre o Método V.O.E.