Dataset falso de AVC é retirado do Kaggle por direito

Um estatístico avisa que um conjunto de dados usado para treinar inteligência artificial médica é, nas palavras dele, “lixo científico”. Ninguém age. Meses depois, o mesmo estatístico mostra que aquelas mesmas fotos violam direito autoral. Em poucas semanas, o conjunto de dados sai do ar.

Essa é a cronologia real do caso do dataset “Facial droop and facial paralysis image”, hospedado no Kaggle, plataforma de repositórios de dados muito usada por quem treina modelos de machine learning. O Kaggle é uma plataforma online onde pesquisadores e times de ciência de dados publicam, baixam e reutilizam conjuntos de dados para treinar algoritmos. O dataset em questão foi usado por múltiplos grupos de pesquisa para treinar modelos de previsão de AVC (acidente vascular cerebral), só que as imagens não eram de pacientes com AVC. Se você trabalha com dados abertos, IA aplicada à saúde ou avalia a confiabilidade de bases usadas em pesquisa, esse caso muda o que “dataset confiável” deveria significar pra você.

O que aconteceu

Adrian Barnett, estatístico médico da Queensland University of Technology, na Austrália, encontrou o dataset enquanto investigava outras duas bases de dados que pareciam fabricadas, achado que ele e colegas descreveram num preprint de fevereiro. Usando busca reversa de imagem, ele identificou quatro das fotos do dataset como sendo, na verdade, de um artigo publicado anos antes na Journal of the Canadian Dental Association (JCDA), sobre paralisia facial, não AVC.

As imagens do dataset também incluíam fotos de celebridades tiradas de filmes e do tapete vermelho. Não havia qualquer informação sobre a origem das imagens nem confirmação de que os diagnósticos fossem reais. Barnett levou essa denúncia ao Kaggle meses antes, chamando a base de “lixo científico”, e não conseguiu nada. Só quando a revista odontológica contatou o Kaggle diretamente, alegando violação de direito autoral sobre as imagens do próprio artigo, é que a plataforma removeu a página. Hoje ela mostra um erro 404, sem qualquer explicação pública sobre o motivo da remoção.

Um representante do Kaggle disse que, “quando ocorre uma ação de enforcement, a página fica indisponível e o usuário que fez o upload recebe uma notificação detalhando o motivo, com instruções de como recorrer”. A empresa não respondeu como os usuários que já haviam baixado ou citado a base seriam avisados do problema.

Por que isso importa pra você

Esse caso não é sobre um dataset ruim isolado. É sobre qual tipo de denúncia move uma plataforma a agir, e qual tipo não move.

1. Se você usa dados abertos em sua pesquisa: confira se a base tem documentação de proveniência (quem coletou, sob qual protocolo, com qual consentimento). Ausência disso é sinal de alerta, não detalhe burocrático.
2. Se você está revisando artigos ou orientando alguém que usa IA em saúde: pergunte explicitamente se o dataset de treinamento já foi auditado por terceiros, e se há registro de aprovação ética para as imagens usadas.
3. Se você trabalha com integridade científica ou é editora de periódico: o caso mostra que reclamação de direito autoral tramita mais rápido do que reclamação de validade científica. Vale reportar os dois ângulos juntos, quando possível, porque o canal de propriedade intelectual parece ter mais força de ação imediata.
4. Se você é orientadora de pós-graduação: esse é um exemplo concreto pra discutir com orientandos antes de eles baixarem qualquer base “popular” no Kaggle só porque tem muitas citações.

Depois da denúncia inicial de Barnett, publicada em maio, pelo menos três artigos da Scientific Reports que usaram essas bases foram retratados, incluindo um em 29 de junho. As notas de retratação dizem que a proveniência dos dados “não pode mais ser verificada” e que as imagens continham rostos identificáveis sem comprovação de diagnóstico ou de aprovação ética. Ainda assim, pesquisadores continuam usando bases semelhantes: em julho, autores de um novo preprint justificaram o uso de um desses datasets citando que ele já havia sido usado em mais de 100 artigos, número que, ironicamente, veio do próprio trabalho de Barnett alertando sobre a fragilidade da base.

Por que a reação institucional me preocupa mais que o dataset

Confesso que o que mais me incomoda nesse caso não é a existência do dataset fabricado. Bases problemáticas sempre existiram, e vão continuar existindo. O que me preocupa é o sinal que o Kaggle deu, sem querer, sobre qual tipo de dano é levado a sério. Uma alegação de “isso é cientificamente inválido e pode levar a diagnósticos errados em modelos médicos” não moveu nada. Uma alegação de “isso infringe direito autoral” moveu tudo em semanas.

Isso é um problema estrutural, não um erro de um funcionário desatento. O Kaggle, neste caso, teve um processo claro e rápido para lidar com violação de propriedade intelectual (é objetivo: a imagem é sua ou não é), mas não mostrou o mesmo rigor para avaliar se um dataset é cientificamente confiável, algo que exige julgamento especializado, tempo e disposição pra admitir erro. Não significa que toda plataforma vai agir assim. Significa que quem depende de dados abertos pra treinar modelos de saúde não pode terceirizar totalmente a curadoria pra plataforma. Faz sentido? A responsabilidade de checar a proveniência continua sendo de quem baixa e usa o dado, não só de quem hospeda.

Há também uma questão ética que ultrapassa o método científico. Algumas das imagens usadas eram de uma paciente menor de idade, cuja família havia consentido o uso da foto em contexto clínico específico, num artigo odontológico, jamais imaginando que ela circularia livremente como dado de treinamento de IA para outra finalidade. Consentimento em pesquisa médica não é permissão genérica: é confiança direcionada a um uso.

Próximos passos

Barnett e sua equipe agora planejam uma auditoria mais ampla, examinando 100 datasets do Kaggle para avaliar qualidade e adequação ao uso em pesquisa médica. O objetivo, segundo ele, é responder: “isso é um problema enorme, ou nós só tivemos a má sorte de encontrar alguns casos estranhos?”

Se esse tema te interessa, vale acompanhar:

1. Antes de usar qualquer dataset público em pesquisa de saúde, procure se ele já foi auditado ou questionado publicamente (uma busca simples pelo nome do dataset, mais “retraction” ou “data integrity”, já ajuda).
2. Se você é revisora ou editora, considere exigir declaração explícita de proveniência de dados como critério de submissão, não como detalhe do método.
3. Documente, sempre, a cadeia de consentimento das imagens ou dados que você usa, mesmo quando a base é “amplamente adotada”: popularidade não é validação.
4. Fique de olho nos resultados da auditoria de Barnett quando saírem, eles devem indicar se esse é um problema pontual ou sistêmico no Kaggle.

Esse tipo de fragilidade na curadoria de dados é parte de uma discussão mais ampla sobre retratação e velocidade institucional. Se você quer entender um caso em que o sistema de correção funcionou rápido, em vez de lento, vale ler Retratação em 4 meses: quando o sistema funciona rápido.

Fonte: Kaggle removes problematic stroke dataset for copyright infringement, Retraction Watch