Deep Content #14 - Mais de 99% de F1: o que a USP mediu ao rastrear a autoria de fake news

Boa tarde. Bem-vindo novamente à InferêncIA News.

Uma notícia falsa pode ser escrita com erros, revisada por um profissional e apresentada num site de aparência respeitável. Também pode ser produzida por uma pessoa ou com ajuda de inteligência artificial. Descobrir como aquele texto surgiu acrescenta informação à investigação. Ainda assim, a origem da redação e a veracidade do que foi publicado são perguntas diferentes.

É nessa distinção que está o interesse do estudo da USP que apareceu na edição de hoje. A pesquisa procura identificar a autoria de notícias já classificadas como falsas: quais foram escritas por humanos e quais foram geradas por IA. A comparação não coloca, de um lado, mentiras de máquinas e, do outro, verdades de pessoas.

Pode parecer um cuidado pequeno na apresentação. Mas trocar a pergunta muda completamente o significado de um resultado. Um sistema capaz de reconhecer padrões de autoria não ganha, por consequência, a capacidade de verificar acontecimentos, documentos e declarações.

Nesta edição, vamos olhar para o experimento e para as decisões que ele ainda não permite tomar. Há uma contribuição brasileira interessante aqui. Não precisamos transformá-la num detector universal para entender seu valor.

O Jornal da USP, em reportagem de 23 de outubro, descreve a pesquisa de Pedro Lucas Castro de Andrade, orientada por Thiago Pardo no ICMC. O trabalho integra o projeto Synestech.AI e investiga pistas linguísticas que ajudem a distinguir a origem de conteúdo falso em português brasileiro.

Essa pergunta pode contribuir para estudar processos de produção e circulação de desinformação. Saber que um texto apresenta características compatíveis com determinada forma de geração pode orientar novas verificações. Isso, sozinho, não identifica quem operou a ferramenta, quem distribuiu o material ou com qual intenção.

A palavra “autoria”, nesse contexto experimental, exige esse cuidado. Classificar um texto como humano ou sintético não equivale a descobrir o responsável por uma campanha. Há decisões e pessoas entre a produção da primeira versão e a publicação.

Para o leitor, a consequência é simples: mesmo uma classificação correta da origem deixa trabalho de apuração pela frente. E uma notícia factual produzida com assistência de IA não passa a ser falsa por causa dessa assistência.

A divulgação do campus de São Carlos, publicada em setembro, informa um conjunto de 10.782 documentos, dividido igualmente entre textos humanos e versões geradas pelo Sabiá-3. A base reúne notícias falsas de Fake.br e FakeTrueBR, acompanhadas por versões de máquina sobre os mesmos temas.

Isso permite pensar no experimento como uma comparação entre formas de escrever material de conteúdo relacionado. O desafio é encontrar diferenças que ajudem a reconhecer a origem, sem confundir uma diferença de assunto com uma diferença de autoria.

O artigo original da EPIA descreve a separação de 80% dos dados para treinamento e 20% para teste, mantendo cada par humano-máquina no mesmo grupo. Na classificação, os textos de cada par foram limitados ao tamanho do menor.

Esses cuidados importam porque um resultado experimental depende também da organização dos exemplos. Testar não deveria significar apenas reapresentar ao classificador aquilo que ele já aprendeu. Da mesma forma, separar grupos sem cuidado pode facilitar artificialmente a tarefa.

Não reproduzimos o experimento. A leitura do método permite entender o que os pesquisadores descreveram; não constitui uma auditoria independente da implementação.

A reportagem do Jornal da USP apresenta duas frentes: caracterizar a linguagem e avaliar classificadores. A análise considera vocabulário, construção das frases, relações de significado e indicadores psicolinguísticos. Para a classificação automática, o texto é preparado e representado numericamente.

Uma representação numérica, ou embedding, permite que um modelo processe relações aprendidas a partir dos textos. Isso não significa que ele esteja consultando um registro de quem digitou cada frase. A decisão vem de padrões associados às categorias durante o treinamento.

No artigo da EPIA, há abordagens neurais, estatísticas e combinações com características linguísticas explícitas. O melhor resultado informado foi do BERTimbau ajustado para classificação: F1 de 99,95%, com um erro em 2.158 amostras de teste.

O resultado mais alto não deve ser confundido com uma explicação completa de cada decisão individual. Descrever diferenças linguísticas e construir um classificador são atividades relacionadas, mas a presença de uma característica não funciona como assinatura exclusiva.

A divulgação de São Carlos relata, no conjunto analisado, maior uniformidade nos textos de máquina e maior variabilidade nos humanos. Essas tendências são úteis para investigação. Transformá-las numa lista de palavras “proibidas” seria uma conclusão que o experimento não autoriza.

Um texto formal pode ter sido escrito por uma pessoa. Uma máquina pode produzir uma frase simples. Estilo oferece pistas; atribuir origem exige avaliar o conjunto de evidências e o alcance do método.

Acurácia é a proporção de classificações corretas entre os exemplos avaliados. Precisão, quando escolhemos “gerado por IA” como a categoria de interesse, pergunta quantos dos textos marcados dessa forma realmente pertenciam a ela. Revocação pergunta quantos dos textos de IA existentes no conjunto foram encontrados.

O F1 combina precisão e revocação por uma média harmônica. Ele ajuda a resumir o equilíbrio entre essas duas medidas, mas não deve ser traduzido automaticamente em “porcentagem de verdade” ou “certeza sobre este documento”.

Um F1 alto num conjunto de teste também não significa que cada resultado futuro carregue aquela probabilidade de estar correto. A métrica descreve um desempenho agregado nas condições avaliadas. Uma estimativa confiável para outro contexto exige evidências sobre esse outro contexto.

Há ainda uma diferença nas divulgações oficiais: o texto de São Carlos menciona 98% de precisão; o Jornal da USP relata resultados neurais acima de 99% de F1. São medidas e relatos distintos. Sem demonstrar uma comparação direta entre configurações, não cabe apresentá-los como uma evolução medida de 98% para 99%.

O número pode continuar impressionante depois dessa explicação. Ele apenas fica ligado à pergunta que o experimento realmente respondeu.

Os próprios autores do artigo delimitam a generalização: foram estudados dois corpora, um modelo gerador e um protocolo de reescrita. Avaliar outros modelos e conteúdos produzidos por processos diferentes aparece entre os próximos passos.

Para quem pensa em aplicação, isso abre perguntas concretas. O método manteria o desempenho em uma versão nova de um modelo? Em textos curtos? Em material que passou por edição humana? Essas são situações a investigar, sem atribuir a esta pesquisa testes que ela não relatou.

A edição humana torna a pergunta de autoria especialmente interessante. Um texto pode começar num modelo e receber mudanças substanciais. Também pode ser escrito por uma pessoa e passar apenas por revisão automatizada. Antes de classificar, seria necessário definir qual dessas práticas a instituição quer identificar.

Uma separação binária pode ser adequada à pergunta do experimento e insuficiente para descrever todos os processos de uma redação. Isso não invalida o estudo. Mostra por que uma aplicação precisa definir seus próprios casos e critérios.

Mudanças de estilo, novos modelos e tentativas de imitação também exigem avaliação. Não são provas de que este classificador falhou; são razões para não presumir que o resultado já foi demonstrado em qualquer situação.

Se chamarmos de positivo o resultado “gerado por IA”, um falso positivo seria marcar como sintético um texto humano. Um falso negativo seria deixar passar um texto sintético como humano. O peso desses erros depende da decisão tomada depois.

Numa análise exploratória, uma classificação incorreta pode levar a uma revisão desnecessária. Numa decisão disciplinar, o mesmo tipo de erro pode afetar uma pessoa. A métrica agregada não escolhe, pela instituição, qual consequência é aceitável.

Considere este exemplo hipotético: uma redação recebe um texto de um colaborador e um sistema indica provável origem sintética. Essa indicação poderia motivar uma conversa sobre o processo de produção. Não substitui a verificação das fontes, nem demonstra descumprimento de uma regra que talvez permita assistência de IA.

Em outro exemplo hipotético, uma escola recebe um trabalho e vê um resultado semelhante. O estudo sobre notícias falsas não comprova desempenho em redações escolares. Pedir ao aluno que explique o raciocínio e discuta as fontes pode produzir evidências pertinentes ao aprendizado. Transferir a decisão para um resultado de classificação deixa a pergunta pedagógica sem resposta.

Também é importante não confundir a categoria “humano” com uma pessoa identificada. Um classificador de origem não demonstra que determinado autor escreveu o texto ou agiu de má-fé.

Vocabulário, estruturas e práticas de escrita precisam fazer parte da avaliação no idioma em que a ferramenta será usada. Para uma organização que recebe material em português brasileiro, o desempenho em outro idioma não responde automaticamente às suas necessidades.

É por isso que construir dados e examinar a linguagem local tem valor para além de uma marca de desempenho. Permite formular perguntas que façam sentido para os textos que circulam aqui.

Também seria um erro tratar “português brasileiro” como um único estilo. Um comunicado empresarial, uma reportagem, uma mensagem informal e uma atividade escolar têm finalidades diferentes. Avaliar essa variedade é parte do caminho entre pesquisa e uso.

O interesse do estudo está em tornar um problema específico investigável. Generalizar cedo demais pode apagar justamente o contexto linguístico que torna a contribuição relevante.

O Jornal da USP informa que o método permanece como prova de conceito, sem software público disponível. Uma eventual aplicação em redações ou empresas dependeria de avaliação adicional, compatível com os textos e as decisões daquele ambiente.

Na comunicação empresarial, por exemplo, seria necessário definir primeiro a política de uso de IA. O objetivo pode ser documentar o processo, conferir informações ou verificar uma obrigação contratual. Cada finalidade pede evidências diferentes. Um indicador de origem não resolve todas elas.

Para uma redação, a análise poderia ser examinada como apoio à triagem, enquanto a apuração continuaria olhando para documentos, fontes e acontecimentos. Para uma escola, qualquer avaliação exigiria justificar a adequação ao gênero textual e ao objetivo de aprendizagem.

Esses são possíveis critérios de aplicação, não usos já validados pela equipe. Em todos eles, uma pessoa precisa entender o que está sendo inferido, quais dados sustentam a avaliação e como uma decisão pode ser contestada.

Minha leitura é que um resultado de classificação deveria ajudar a formular a próxima pergunta. Quando ele vira uma acusação pronta, a tecnologia passa a receber uma autoridade que o próprio experimento não demonstrou.

A pesquisa da USP acrescenta evidência sobre a possibilidade de distinguir padrões de origem em notícias falsas em português brasileiro. O avanço merece atenção com seu recorte preservado.

Ao ler um conteúdo suspeito, ainda precisamos perguntar o que ele afirma, quais fontes apresenta e o que pode ser confirmado. Investigar sua produção acrescenta outra camada. Uma resposta sobre a origem não elimina as demais.

Eu prefiro uma tecnologia que ajude a investigar a uma porcentagem usada para encerrar a conversa. O número alto pode chamar a atenção; o método e seus limites ajudam a decidir o que fazer com ele.

No seu trabalho, saber que um texto teve participação de IA mudaria qual decisão? E que outra evidência você exigiria antes de agir? Responda este email.

Nos vemos amanhã.

Filipe, o único humano nesta empresa.